0表示异常）requestPoolWaitTime 数据节点查询请求在查询池中的等待时间 SEARCHER-RT-BUILD（数据节点-数据处理）指标项 含义 addQps 数据节点中API推送add doc的qps deleteQPS 数据节点中API推送delete doc的qps buildQps 数据节点中实时...
复制分布 DISTRIBUTED REPLICATED 系统会在每个计算节点都保存一份表的全量数据。如果数据库中存在大表与小表join的场景，您可以将足够小的表设置为复制分布来提升性能。建表语句示例如下：CREATETABLEreplicated_stuff(thingstext,...
复制分布 DISTRIBUTED REPLICATED 系统会在每个计算节点都保存一份表的全量数据。如果数据库中存在大表与小表join的场景，您可以将足够小的表设置为复制分布来提升性能。示例如下：哈希分布 CREATE TABLE products(name varchar(40),prod_...
选择需要补数据的节点 区域为您展示的是当前节点及其包含的所有下游节点（包含下游节点的子节点），您可选择当前节点及其下游节点的部分或全部节点任务（包含当前节点）进行补数据。海量节点模式补数据 选择当前节点及下游节点作为本次补...
此外，PolarStore使用了类似Copy On Write技术，支持秒级快照，即对数据库来说，不管底层数据有多大，都能快速完成全量数据备份，因此PolarDB支持高达100T的磁盘规格。计算节点和存储节点之间通过25G RDMA网络连接，保证数据传输不会出现...
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
背景信息 FTP Check节点的典型应用场景：当DataWorks调度系统中的任务需要访问一个外部数据库时，但由于该数据库的相关数据写入任务不在DataWorks中，DataWorks无法知道该数据库何时完成写入任务并可以被访问。如果DataWorks读取未写入完成...
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
云数据库HBase存储海量大数据，在业务场景中往往承载着重要数据，为保障数据的高可用性和安全性，云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活：大数据量随机读响应...
Hive Hive节点通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作，具体操作，请参见 新建Hive类型的公共节点。Hologres Hologres节点运行于Hologres云计算资源之上，您可使用标准...
再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。案例演示 本案例通过轮播列表的轮播功能，将链接到的网页内容展示在轮播页面组件上。登录 DataV控制台。选择任一数据看板，单击 编辑，进入画布编辑器页面。添加 ...
5.OSS数据上传 提交渲染作业前，一定要将渲染用到的数据上传 OSS，在计算节点启动后再上传的数据将不能在计算节点中访问到。自定义镜像 由于 OSS 页面控制台上传数据有大小限制，所以上传数据建议使用 OSS 的 osscmd下线说明（类Linux系统...
常见 PolarDB-X 数据节点连接失败的原因如下：后端数据节点连接数已满 计算节点到数据节点的连接超时 数据节点拒绝连接 如果排除后端数据节点问题后仍然出现该错误，请联系技术支持。PXC-4103 ERR_ATOM_CONNECTION_POOL_FULL 描述：PolarDB...
案例二：互联网SaaS用户 用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表...
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等多种数据源之间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS提供丰富多样、高性能、高安全可靠的...
支持 支持 全密态 PolarDB MySQL版 提供全密态数据库功能，数据在用户侧加密后传入数据库管理系统，数据明文对于数据库服务端不可见，实现了端到端的全程加密的数据强安全性。支持 支持 连接管理 连接池 PolarDB 支持会话级连接池和事务级...
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
阿里云容器服务Kubernetes版（简称容器服务ACK）提供容器服务相关的技术架构以及核心组件的托管服务，对于非托管组件以及运行在ACK集群中的应用，不当操作可能会导致业务故障。为了更好地预估和避免相关的操作风险，在使用容器服务ACK前，...
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
如果由于事务较多导致主节点压力大，您可以通过控制台打开事务拆分功能，把事务中的部分查询路由到只读节点，详情请参见 事务拆分。如果由于复制延迟导致请求被路由到主库，您可以考虑降低一致性等级（如使用最终一致性），详情请参见 一致...
再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。案例演示 本案例通过Tab列表的轮播功能实现通用标题的动态展示。登录 DataV控制台。选择任一数据看板，单击 编辑，进入画布编辑器页面。添加 Tab列表 和 通用标题 两...
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将ECS上分片集群架构的自建MongoDB数据迁移至阿里云MongoDB实例中。通过DTS的增量迁移功能，可以实现在应用不停服的情况下，平滑完成数据库的迁移。本文为旧版DTS迁移操作...
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
创建CDH Hive节点 创建CDH Spark节点 创建CDH MR节点 创建CDH Presto节点 创建CDH Impala节点 2024.2.6 更新功能 数据保护伞 数据保护伞新版系统配置页面发布上线。您可通过系统配置：设置数据保护伞的识别内容、识别范围。设置水印文件...
再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。案例演示 本案例通过从词云中随机选取内容动态生成二维码。登录 DataV控制台。选择任一数据看板，单击 编辑，进入画布编辑器页面。添加 词云 和 二维码 两个组件到...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
此外，OceanBase 数据库支持超大规模集群（节点超过 1500 台，最大单集群数据量超过 3 PB，单表数量达到万亿行级别）动态扩展，在 TPC-C 场景中，系统扩展比可以达到 1:0.9，使用户投资的硬件成本被最大化的利用。高可用 OceanBase 数据库...
再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。案例演示 本案例通过Tab列表的轮播功能实现业务指标趋势的动态展示。登录 DataV控制台。选择任一数据看板，单击 编辑，进入画布编辑器页面。添加 Tab列表 和 业务...
2022-11-20 集群保护锁 新增全局只读节点 在产品系列为多主集群（库表）的集群中，您可以通过增加全局只读节点的方式，来读取集群中所有读写节点的数据，以处理跨节点的汇聚库请求，而无需额外配置数据同步和部署独立的集群资源来实现数据...
开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数...
如果由于事务较多导致主节点压力大，您可以通过控制台打开事务拆分功能，把事务中的部分查询路由到只读节点，详情请参见 高级选项-事务拆分。如果由于复制延迟导致请求被路由到主库，您可以考虑降低一致性等级（如使用最终一致性），详情请...
本文介绍云原生分布式关系型数据库PolarDB-X使用过程中遇到的术语。控制台术语 名词 描述 地域 数据中心所在的地理位置。可用区 可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群（实例）...
DataWorks的代码搜索功能，用于通过关键字搜索节点中的代码片段，并展示包含该代码片段的所有节点及片段的详细内容。当目标表数据产生变更，您需要查找操作源（即导致目标表数据变更的任务）时，可以使用该功能。2021.10.27 全部地域。代码...
本文介绍时间轴全量选择时各配置项的含义。图表样式 时间轴支持自定义时间轴的节点标签样式、事件节点样式以及交互等配置，适用于在可视化应用中展示不同时间段的数据变化情况，比如使用时间轴组件实现数据轮播。样式面板 搜索配置：单击 ...
2023.12.08 所有地域 所有DataWorks用户 Check节点 数据开发新增PAI DLC节点 您可通过PAI DLC节点周期性调度运行PAI DLC任务。2023.12.08 所有地域 所有DataWorks用户 PAI DLC节点 安全中心增加实时风险识别规则 安全中心支持管理员将风险...