整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至...
设计人员：根据已定稿的产品需求文档所述需求，进行数据探查，了解数据形态（数据质量、数据分布），同时根据探查结果实现表设计、Mapping设计、调度设计等细分设计工作。开发人员：根据设计人员产出的稿件，制定计划并实现代码，同时进行...
大规模数据分析与处理：当数据量庞大、处理逻辑复杂时，MaxFrame借助MaxCompute海量数据和计算资源的分布式能力，显著提高数据分析、处理及数据挖掘的开发效率。Data+AI开发：对于整个分布式数据开发和模型开发过程依赖于第三方或自定义...
在第三方认证层面，AnalyticDB PostgreSQL版 通过了“国际数据库TPC官方TPC-H 30TB认证”（性价比综合排名第一），信通院“分布式事务型数据库基础能力评测”（TPC-C）和“分布式分析型数据库大规模性能认证”（640节点 TPC-DS 100TB）。...
背景介绍 PolarDB-X 支持存储资源池和数据节点单独升降配，实现数据节点的精细化管理与资源隔离，满足不同业务场景的需求，提升资源利用率。存储资源池，指的是将DN存储节点划分为互不交叉的池，支持在单个存储池维度通过添加/减少 DN 存储...
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台。数据灾备支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里云。...
不支持 支持 支持 文件名规范 支持 支持 支持 支持 管理中心 跨租户发布 支持 不支持 支持 支持 我的 个人中心 支持（不支持资源统计大盘）支持（不支持资源统计大盘）支持（不支持资源统计大盘）支持（不支持资源统计大盘）个人数据中心 ...
您通过控制台查看或修改RDS SQL Server数据库的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。查看或修改数据库属性 注意事项 部分...
PolarDB PostgreSQL版（兼容Oracle）提供全密态数据库功能，数据在用户侧加密后传入数据库管理系统，数据明文对于数据库服务端不可见，实现了端到端的全程加密的数据强安全性。全密态云数据库是达摩院数据库与存储实验室的自研产品，可以...
全景监控通过可视化图形实时呈现监控任务、监控链路、监控告警分组、任务状态数据分布、任务状态分布明细、核心指标看板等在线业务，帮助用户快速掌握全平台的数据情况。本文介绍如何查看监控概览信息。操作步骤 登录企业数据智能平台。在...
在顶部菜单栏，单击 图标，选择目标工作组，单击 数据中心。在左侧导航栏，选择 数据管理 数据集。添加数据目录。在目录栏选中目录，单击 图标，在目录输入框中输入目录名称，按回车键。页面提示新增成功，在目录栏可查看添加的目录。说明 ...
您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用AI技术辅助数据分析，帮助您解析复杂数据，并为业务决策提供支持。权限说明 已拥有数据分析权限，查看...
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台。数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
主键设计 主键的设计在Lindorm宽表中至关重要，数据分布、数据排序等都与主键有着密切的关系，因此一个好的主键是合理分配宽表资源、正确使用宽表的关键因素。主键设计的建议，请参见 如何设计宽表主键。主键的设计要点如下：主键应尽可能...
消除分布式（Motion）算子提升性能 在进行连接或聚集操作时，AnalyticDB PostgreSQL 会根据数据分布情况添加分布式算子，对数据进行重分布（Redistribute Motion）或广播（Broadcast Motion）。分布式算子会占用大量的网络资源。如果能够...
DIRunStreamxJob 运维中心数据集成启动实时任务 DIBatchRunStreamxJob 运维中心数据集成批量启动实时任务 DIStopStreamxJob 运维中心数据集成停止实时任务 DIBatchStopStreamxJob 运维中心数据集成批量停止实时任务 DIOfflineStreamxJob 运...
参数 说明 Endpoint（非必填）填写集群在DLF数据中心所在地域的Endpoint，若未填写则使用hive-site.xml中的配置项。Endpoint如何获取，请参见 DLF Region和Endpoint对照表。AccessKey ID、AccessKey Secret 填写集群所在账号的AccessKey ID...
设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...
参与Join的两个表，按相同的分布键（Join列）进行数据分布，使得两个表相同键值的数据被分布到同一分片，可直接在同一分片进行Join操作，无需在分片之间进行数据传输，能够有效减少查询过程中的数据重分布，提升查询性能。例如，需要按照...
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
选择数据分布均匀的一列做为分布键，数据类型为时间的一列做为分区键。更多详情，请参见 表结构设计。观察集团商品销售总表中的几列数据，按订单编号分布较随机，因此用订单编号做分区键，用日期做二级分区，由于不再导入数据，在这里选择...
您可以通过FineBI连接 云原生数据仓库 AnalyticDB MySQL 版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB for MySQL ...
找一列数据分布均匀的列做分布键，一列时间类型做分区键。请参考 表结构设计。观察到合同销售总表中的几列数据，按合同编号分布较随机，因此用合同编号做分区键。建表语句如下：CREATE TABLE `demo_contract`(`contract_id` VARCHAR,`...
在纯客户端模式（SDK）基础上，Cache模式支持可选的元数据缓存和数据分布式缓存，同时保持数据跟OSS兼容和同步。数据缓存可以基于内存、SSD和普通磁盘，以适用不同的计算场景。JindoFS块存储模式（Block）JindoFS存储模式（Block），不仅...
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
支持在 我的足迹 查看最近浏览、最近收藏、最近使用的资产，您也可以前往 个人数据中心 查看全量收藏的资产。Dataphin资产：即计算源表、指标、函数、项目、数据源、API等。指标列表新增数据板块/主题域视角导航，可快速切换查看不同...
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
概述 PolarDB-X 是由阿里巴巴自主研发的PolarDB分布式版数据库，在物理资源上是由多个节点所组成的分布式集群。通过数据分区的方式，可以将数据分布到集群中的多个存储节点，发挥多个节点的存储和计算能力。当数据分布不均匀，大部分数据...
当数据量和计算量动态增长，计算资源（CPU、磁盘、内存以及数据处理节点数量）成为数据处理速度的瓶颈时，您可以对实例动态扩展，在线变更实例规格和计算节点。目前 AnalyticDB PostgreSQL版 不同的 实例资源类型 对计算节点变配的支持程度...
集群所有表的总数据量是140 GB，数据分布情况为1个节点组60 GB，1个节点组80 GB。则节点的最大磁盘使用率=(80/200)*100%40%。集群锁定水位线(90%)当最大磁盘使用率超过集群锁定水位线（即 90%）时，集群会被锁定，锁定后集群可以查询数据，...
regionId：dlf数据中心所在的地域。catalogId：dlf数据目录。登录X2Doris控制台。默认访问地址：http:// IP :9091 。说明 IP为安装X2Doris服务器的IP地址。9091是X2Doris的默认端口，如果您在application.yml 里修改了端口号，请替换为您...
分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。通过只读实例进行读扩展，每个只读实例独享一...
加速比 TPC-H性能：和传统MPP数仓对比 分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。...
config.xml参数修改 2020年08月 功能名称 描述 相关文档 数据均衡扩容 保证增加集群节点时数据分布均匀，避免数据倾斜问题。无 请求查询管理 请求查询管理功能，支持慢SQL定位和运行请求中断。查询管理SQL 新增4core 16G规格 新增4Core16G...
帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的全部敏感字段分布情况，数据识别规则的使用逻辑如下图所示。说明 对CDH集群中...
DataWorks 数据源 页签下包含已创建的数据源（通过绑定计算资源自动创建、管理中心数据源列表手动创建），您可以单击 操作 列的 添加为数据目录，将该数据源的数据目录绑定至工作空间。AI Catalog 该数据目录下包含数据集和模型 数据集：...
步骤五：创建HttpFile数据源 进入 管理中心 数据源 数据源列表 页面，单击 新增数据源，选择 HttpFile，创建HttpFile数据源，将HttpFile数据源添加至DataWorks当前空间。HttpFile数据源基础信息配置。创建HttpFile数据源，基础信息 配置...
若地域不一致，则只能创建为跨地域的数据源，此类数据源无法在数据开发中绑定，即无法在DataWorks的数据开发、运维中心页面中执行对应计算任务，仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。ClickHouse仅支持使用...