MaxCompute的非结构化框架支持通过INSERT方式将MaxCompute的数据直接输出到OSS，请参见 将数据写入OSS。处理各种开源格式数据，请参见 支持开源格式数据。相关文档 MaxCompute支持OSS、Hologres及RDS等多种外部表，具体请参见 OSS外部表、...
静态脱敏 将生产库的全量数据导入至一个镜像数据库中，同时在导数据的过程中对敏感数据进行加密或脱敏。应用程序访问的不是真正的生产库而是镜像库，因此脱敏过程完全不会影响正常业务对生产库的使用。需要在数据导入的工具中开发一套修改...
云数据库 SelectDB 版 支持通过Spark SelectDB Connector，利用Spark的分布式计算能力导入大批量数据。本文介绍使用Spark SelectDB Connector同步数据至 云数据库 SelectDB 版 的基本原理和使用方式。功能介绍 Spark SelectDB Connector是...
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以...
根据扫描出来的信息，您可以单击 前往DMS使用敏感数据保护 前往DMS数据管理服务控制台对敏感数据执行管控操作。更多信息，请参见 管理敏感数据。页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、...
数据分析：实现了实时数据分析生成的数据可以直接用于Serving，从而实现了实时和离线数据的统一融合。实时数据建模：提供了实时数据建模聚合表，以支持实时聚合能力。强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：...
类型 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
类型 支持公网数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。ECS(VPC)自建数据库：您在阿里云ECS上自建的数据库。支持VPC方式访问。VPC网络访问数据库需配置以下...
类型 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
DLA提供ActionTrail日志自动清洗解决方案，可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表，同时自动对数据进行分区和压缩，方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...
关系型数据库中库表结构的数据无法直接传入以键值结构保存数据的Redis数据库，迁移前需要将源端数据转换为特定的结构。这篇最佳实践以MySQL向Redis整表迁移为例，介绍如何通过原生工具进行简单高效地迁移。MySQL的表数据将通过Redis ...
类型 支持公网数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。ECS(VPC)自建数据库：您在阿里云ECS上自建的数据库。支持VPC方式访问。VPC网络访问数据库需配置以下...
类型 支持公网数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。ECS(VPC)自建数据库：您在阿里云ECS上自建的数据库。支持VPC方式访问。VPC网络访问数据库需配置以下...
类型 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
数据分析：实现了实时数据分析生成的数据可以直接用于Serving，从而实现了实时和离线数据的统一融合。实时数据建模：提供了实时数据建模聚合表，以支持实时聚合能力。强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：...
类型 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
数据源未绑定至数据开发 复制一份生产环境的数据源至开发环境，并将开发环境数据源的 默认访问身份 配置为 执行者。若简单模式工作空间数据源（即生产环境数据源）的 默认访问身份 为 任务责任人，则升级之后，生产环境数据源的 默认访问...
类型 支持公网数据库、阿里云数据库与ECS（VPC）自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问...
DataWorks支持使用DataStudio一键同步MaxCompute数据至Hologres，您可使用该方式快速查询MaxCompute表数据。本文为您介绍如何创建并使用一键MaxCompute数据同步节点。背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要...
数据管理DMS提供的逻辑数仓具有强大的数据源管理能力，可以实现将企业的异构数据源进行逻辑聚合，形成物理分散、逻辑统一的虚拟数仓，然后快速地提供数据分析和访问服务，满足业务人员、BI分析师、运营人员等各种角色的需求。背景信息 企业...
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
本地服务器每天采集的网站日志有10 GB，需要上传至MaxCompute，在使用Tunnel Upload命令上传时速度约为300 KB/S，如何提升上传速度？上传数据时，每个Session的生命周期是一天，因源表数据太大，导致Session超时任务失败，如何解决？上传...
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
背景信息 本案例默认使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置...
背景信息 本案例默认使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置...
背景信息 本文以使用 静态数据源 为例，因此可以直接在组件的数据源配置区域粘贴准备好的数据。如果您的数据源为 CSV文件、数据库 等其他类型的数据，需要首先 添加数据源。如果您需要使用的数据源为 API，直接在数据源配置栏输入API即可。...
背景信息 本案例使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏...
背景信息 本案例使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏...
推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。否 无 Writer脚本Demo {"stepType":"starrocks","parameter":{"selectedDatabase":"didb1","loadProps":{"row_delimiter":"\\x02",...
背景信息 本文以使用 静态数据源 为例，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为 CSV文件、数据库 等其他类型的数据，需要首先 添加数据源。如果您需要使用的数据源为 API，直接在数据配置栏输入API即可。具体...
使用新发布出来的两个文件的URL，替换下钻热力层的自定义区域数据的URL，单击 预览 查看地图上的效果，即可完成自定义数据配置。上图中的示例数据如下。[{"area_tree":...
区域下钻热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，包括下钻区域的标注、边线、鼠标交互事件以及位置信息等，可直接作为省或直辖市级、地市级区域热力层使用。本文介绍区域下钻热力层各配置项的含义。重要 当前为v1....
在 设置数据源 面板中，选中 静态数据 数据源，并在下方的数据配置区域内，按照您团队所需的奖品内容，自定义修改模板中已有的数据，或直接粘贴准备好的JSON格式的数据。注意 当前抽奖模板不需要使用奖品图片的 imgSrc 字段数据。如果您...
在 设置数据源 面板中，选中 静态数据 数据源，并在下方的数据配置区域内，按照您团队所需的奖品内容，自定义修改模板中已有的数据，或直接粘贴准备好的JSON格式的数据。注意 当前抽奖模板不需要使用奖品图片的 imgSrc 字段数据。如果您...
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
对表数据的生命周期进行正确的管理，也能够直接降低存储的数据量及存储成本。降低计算成本 规范化的表设计可以帮助您优化数据的读取，从而减少计算过程中的冗余读写和计算，提升计算性能，降低计算成本。降低维护成本 规范化的表分层设计...