本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以我工作空间加入...
本文主要介绍高可用管理平台 HAS 的应用场景。日常风险防控 在日常的...逻辑数据中心所表达的中心思想是无论物理结构如何的分布，整个数据中心在逻辑上是协同和统一的。主要适用于大型互联网公司在线交易系统支持，比如淘宝、支付宝、携程等。
多数据中心异地多活 通过微服务产品可快速构建可扩展、高性能的金融级分布式核心系统，拥有弹性扩容和异地多活的能力。任务调度 任务调度（Task Scheduler，简称 TS）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、...
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
Hive库冷热数据分布Top信息会展示如下：库极冷数据量分布Top 库冷数据量分布Top 库温数据量分布Top 库热数据量分布Top 说明 冷数据是长时间不访问的数据，推荐放到冷备存储，例如OSS冷备等。冷热数据分布可以帮助您了解集群使用情况，有...
DataV-Atlas（分析地图）由数据中心和我的项目组成。本文简要介绍了DataV-Atlas的功能组成，让您快速了解界面布局。数据中心 数据中心是DataV-Atlas的主入口，包含内置数据、上传数据、数据源管理、查看数据表和地图、新建项目等功能。序号...
云数据库Cassandra可以很容易添加新的数据中心，不同的数据中心可以设定不同的副本数，既可以作为跨数据中心多活高可用，也可以作备份容灾或离线分析使用。业务灵活多变 云数据库Cassandra的数据模型灵活，对表结构的变更是一个非常轻量级...
数据类型即根据数据语义对数据进行的分类。默认包含如下分类：一级分类：个人信息、企业信息、位置信息等。二级分类：手机号、邮箱、银行卡等。说明 用户可自定义新的数据分类。更多信息，请参见 管理敏感数据识别规则。敏感数据信息汇总：...
AnalyticDB PostgreSQL版 支持三种数据在节点间的分布方式，分别是哈希（HASH）分布、随机（RANDOMLY）分布、复制（REPLICATED）分布。语法 CREATE TABLE table_name(.)[DISTRIBUTED BY(column[,.])|DISTRIBUTED RANDOMLY|DISTRIBUTED ...
如果Join语句命中了表的数据分布列，则应该使用数据分布信息来减少Join语句的网络与内存开销，这就是Bucket Shuffle Join的思路来源。上图展示了Bucket Shuffle Join的工作原理。在SQL语句中，A表与B表进行了Join操作，并且Join的等值表达...
当数据分布不均匀时，导入数据较多的一级分区将成为长尾节点，影响整个导入任务的性能，因此要求导入时数据均匀分布。如何选择分布键，请参见 选择分布键。判断分布键合理性：导入前，根据导入数据所选分布键的业务意义判断是否合理。以表...
当数据分布不均匀时，导入数据较多的一级分区将成为长尾节点，影响整个导入任务的性能，因此要求导入时数据均匀分布。如何选择分布键，请参见 选择分布键。判断分布键合理性：导入前，根据导入数据所选分布键的业务意义判断是否合理。以表...
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
本文介绍 AnalyticDB PostgreSQL版 如何选择表分布策略。选择表分布策略 AnalyticDB PostgreSQL 支持哈希（HASH）分布、随机（RANDOMLY）分布、复制（REPLICATED）分布三...表t1的分布键被改为c2，该表的数据按照c2被重新分布，数据不再倾斜。
多可用区部署 使用多可用区部署时，数据分布在多个可用区内，主可用区和备可用区各保存3副本数据（共6副本数据），具有更高的SLA可靠性保障。计算节点位于主可用区，备可用区的存储热备集群以及计算节点用于主可用区故障时进行故障切换。...
AnalyticDB PostgreSQL属于MPP数据库，数据分布在各个segment节点,分布方式为hash、random和replication。许多查询在执行中需要进行数据交换,比如redistribution和broadcast。数据交换所导致的费用在整个查询执行时间中所占比例比较可观，...
数据探索主要包括首页、数据中心、算子中心、模型中心、任务中心等功能。本文介绍了数据探索的业务操作基本流程。数据探索的业务流程如下图所示。数据探索的流程说明如下表所示。流程 说明 首页 提供新手引导及用户登录、模型情况的运行...
2022 with Container 数据中心版 64位中文版 支持 支持 2022 with Container 数据中心版 64位英文版 支持 支持 2019 数据中心版 64位中文版 支持 支持 2019 数据中心版 64位英文版 支持 支持 2019 with Container 数据中心版 64位中文版 ...
数据中心 数据中心包含数据管理、数据配置、API接入。数据管理：展示并管理用户添加的数据，主要功能包括数据表引入、本地数据导入。数据配置：展示并管理用户添加的计算资源。算子中心 算子中心包含算子管理、算子配置。算子管理：展示并...
客户简介 上海市新能源汽车公共数据采集与监测研究中心（以下简称“数据中心”）是2014年底由上海市社会团体管理局批准注册成立，由上海市经济和信息化委员会负责业务指导，是上海市的新能源汽车市级监管平台，其主要职责是对上海市推广的...
选择数据分布均匀的列或者多个列 若分布键数据分布不均匀，可能会导致数据倾斜。数据倾斜会导致部分计算节点存储的数据过多，查询负载大，查询耗时变长。因此请不要选择bool类型、时间日期类型的列作为分布键。选择经常需要JOIN的列作为...
独享模式目前仅支持智能研发版。模块 功能点 独享模式（半托管版）研发 离线集成 支持 实时集成 支持（可增购）数据研发 支持 任务发布...个人中心 支持 个人数据中心 支持 告警中心 支持 消息中心 支持 任务中心 支持 OpenAPI 支持（可增购）
分区热力图功能支持查看各分区的访问情况和数据分布情况，可以帮助您快速发现数据过热的分区。注意事项 仅5.4.14及以上版本支持此功能。仅支持展示当前实例下所有AUTO模式数据库中的数据分布情况。当单个逻辑库下的总分区数超过8000时，则...
Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。背景信息 EMR Flink完全兼容开源Flink，相关内容请参见...
拆分键是数据访问代理中数据分布和 SQL 路由的凭证。SQL 路由 当用户发起执行 SQL 语句的请求时，数据访问代理会理解 SQL 语句的含义，然后按照拆分键的值和执行策略将 SQL 语句路由到对应分区进行执行，如下图所示：数据合并 如果一个 SQL...
什么是数据中心？产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业...
Tair 推出磁盘（ESSD/SSD）型实例，均兼容Redis核心数据结构与接口，可提供大容量、低成本、持久化的数据库服务。适用于兼容Redis、需要大容量且访问性能较高的温冷数据存储场景。背景信息 Redis基于内存属于易失性存储介质，随着业务持续...
背景信息 您可以在完成敏感数据规则配置的第二天，查看数据分布情况。说明 安全管理员可以通过在 系统配置 页面配置 权限控制模式，来指定可以查看该页面数据的成员。操作步骤 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 ...
下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念：名词 解释 MPP Massively ...数据分布 MPP架构下，表的数据按分区键存储在不同数据分区上，是全并行计算中的一个计算执行和存储单元。常见的分布方式有哈希分布，随机分布，复制分布。
数据质量的任务查询模块展示规则的校验结果。规则运行后，您可以在任务查询页面...数据分布 单击相应表名后的 数据分布，查看该规则每次运行的情况，以及表行数、表大小等信息。查看血缘 点击此处将快速跳转至 数据地图，查看该表的血缘信息。
PolarDB PostgreSQL版 可以横向Scale Out（计算节点数量），也可以纵向Scale Up（单节点并行度），且弹性扩展即时生效，不需要重新分布数据。允许业务有更多的弹性调度策略，不同的业务域可以运行在不同的节点集合上。业务域1的SQL可以选择...
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 ...
PolarDB PostgreSQL版（兼容Oracle）可以横向Scale Out（计算节点数量），也可以纵向Scale Up（单节点并行度），且弹性扩展即时生效，不需要重新分布数据。允许业务有更多的弹性调度策略，不同的业务域可以运行在不同的节点集合上。业务域1...
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至...
表S数据不移动，表R数据根据分区计算的结果发送到S表扫表的节点 Colocation Join 对于多个相关联的表，在建表时确保表的数据分片数量一致，相同Hash分桶在分布式系统中的分布一致，那么实际查询时就可以跳过数据的Shuffle过程，直接进行...
通过节点、库、表、分区多个维度实时展示不同节点的数据分布，数据的存储热点可以准确识别。访问测通过不同亮度实时展现某个时间点的访问趋势。从而避免灵活的集分设计给业务运行带来的容量、访问测的不确定性。用户价值 核心价格变更场景...
大规模数据分析与处理：当数据量庞大、处理逻辑复杂时，MaxFrame借助MaxCompute海量数据和计算资源的分布式能力，显著提高数据分析、处理及数据挖掘的开发效率。Data+AI开发：对于整个分布式数据开发和模型开发过程依赖于第三方或自定义...
设计人员：根据已定稿的产品需求文档所述需求，进行数据探查，了解数据形态（数据质量、数据分布），同时根据探查结果实现表设计、Mapping设计、调度设计等细分设计工作。开发人员：根据设计人员产出的稿件，制定计划并实现代码，同时进行...