Lindorm助力新榜构建高并发高性能的数据处理平台，实现了无感知的跨引擎协同操作、每秒千万级的高并发写入与点查能力和压缩率100%的提升，降低存储的同时全面保障业务的稳定性和数据处理效率。客户简介 新榜作为数据驱动的头部内容科技公司...
数据源用于连接各类数据库和存储服务（如MaxCompute、MySQL、OSS等），是 数据集成同步任务 的必备配置，决定任务读取（数据来源）和写入（数据去向）的数据库。数据源的作用 在数据集成任务中，数据源扮演着数据流动两端的“端点”角色：...
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
客户价值 百姓网通过数据库网关DG实现无需开通公网地址，即可将私网数据库跨云迁移，解决了本地IDC的私网环境数据库，无法直接被云产品访问的难题，保障了整个跨云迁移过程中的数据安全。借助数据库网关DG的压缩、多并发能力，实现长距离...
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
本文介绍数据资产授权的常见问题及解决方法。授权失败的可能原因 您授权允许 数据安全中心DSC（Data Security Center）访问MaxCompute、RDS和对象存储OSS数据时，可能会出现授权失败的情况。您可以参考以下原因排查数据授权问题。RDS连接...
分布式事务引擎 OceanBase 数据库的分布式事务引擎严格支持事务的 ACID 属性，并且在整个集群内严格支持数据强一致性，是全球唯一一家通过了标准 TPC-C 测试的原生分布式关系型数据库产品。OceanBase 数据库通过 Paxos 协议将事务日志复制...
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 协议要求：升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级方式与影响：自动重启：升级采用轮转升级的方式进行，升级过程中会...
查看数据源 创建数据源后，您可以在数据源列表查看所有已创建数据源的基本信息、详情和网络连接等信息，也可以根据数据源类型进行筛选、根据数据源的创建时间进行排序，以及模糊搜索指定数据源。登录 OceanBase 管理控制台。在左侧导航栏，...
云数据库MongoDB提供了多种数据恢复方案，可满足不同场景下MongoDB数据库的数据恢复需求。数据恢复至云数据库MongoDB实例 重要 将数据恢复至新实例时，请注意以下事项：新实例的数据库大版本需与原实例相同。您需要根据原实例的数据库版本...
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、Hudi（Hudi格式仅...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 TiDB 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全风险...
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。本文档旨在介绍如何在工单中，根据数据库中存在...
云企业网 通过CEN实现本地IDC与DTS云服务互通 添加DTS服务器的IP地址段 数据迁移 数据同步 数据订阅 数据校验 云企业网CEN 数据库网关 通过数据库网关将本地IDC或第三方云的数据库接入至阿里云 添加DTS服务器的IP地址段 数据迁移 数据同步 ...
图表样式 区域热力层是3D地球的子组件，支持独立的样式和数据配置，能够使用GeoJson数据展示区域边界信息并渲染区域样式，适用于在3D地球上展示某个区域的数据信息。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全...
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 HBase 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全风险...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 Lindorm 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全...
配置好数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输新建 MySQL 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全风险...
字段信息：为您展示字段的序号、名称、数据类型、描述/备注、业务类型/关联实体（维度逻辑表和事实逻辑表仅展示关联实体）、关联标准（需购买数据标准模块）、样例数据（仅开启 数据采样 功能时展示）、质量分（需购买数据质量模块且资产...
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 文件传输协议FTP（File Transfer Protocol）是TCP/IP协议组中的一个协议。在开发网站的时候，您可以使用FTP客户端将网站...
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 文件传输协议FTP（File Transfer Protocol）是TCP/IP协议组中的一个协议。在开发网站的时候，您可以使用FTP客户端将网站...
在 云数据库 Tair（兼容 Redis）集群架构实例中，若个别数据分片节点（Data Node）的内存使用率、CPU使用率或带宽使用率等性能指标远远高于其他数据分片，该集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况...
数据探查：若您开通了数据质量功能，可以为数据源表配置数据探查任务，快速了解数据概况，提前评估数据的可用性和潜在风险，如果您需要开启自动探查，可以在 治理 元数据中心 探查及分析 中开启相应配置，探查任务配置详情请参见 新建数据...
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS...
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
支持创建数据库节点数据源 数据源类型 数据源简介 MySQL MySQL是用于存储和处理数据的关系型数据库管理系统（RDBMS），是最流行的关系型数据库管理系统之一，其体积小、速度快、总体拥有成本低。更多介绍请参见 MySQL。SQL Server SQL ...
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
本文为您介绍如何在系统管理中配置SQL查询、数据上传任务所使用的资源组。使用限制 仅支持阿里云主账号或具备DataWorks租户管理员角色的子账号访问系统管理页面。系统管理中的配置仅在本租户的当前地域生效，并且您需确保SQL查询、数据上传...
查询时报错，提示 scanRows exceed limit 分析型数据库MySQL版查询时报错，错误信息为：ErrMsg:ErrCode:2001 ErrType:QUERY_EXCEED_LIMIT ErrMsg:scanRows exceed limit:xxx 为避免用户输入的SQL误写或性能较差，从而导致扫描表的大量数据...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL Presto的连接地址...
EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多增强功能与服务优势。前置概念 ...
在DataV-Note（智能分析）中，分析单元是进行数据分析及报告制作的主要工作区域，而数据集和变量则是分析单元用于进行分析的输入数据。本文为您介绍DataV-Note支持的分析单元类型，以及数据分析及报告制作的流程概述。概念须知 分析单元：...
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。5分钟快速了解 前提条件 已购买 数据服务 增值服务，开通Dataphin 功能说明 因Dataphin数据源功能已下线，您可以使用...
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时保障了数据开放安全。5分钟快速了解 前提条件 已购买 数据服务 增值服务并且当前租户已开通 数据服务 模块。功能说明 因Dataphin数据源功能已...
在 PolarDB PostgreSQL版 冷热分层存储架构中，先将冷数据按规则切成小块，再对切好的块数据进行压缩，最后写入OSS，达到通用数据压缩率20%-40%，时空数据压缩率60%-70%，平均压缩率50%的效果，相当于将存储于数据库云盘中的数据转存在OSS...
在 PolarDB PostgreSQL版（兼容Oracle）冷热分层存储架构中，先将冷数据按规则切成小块，再对切好的块数据进行压缩，最后写入OSS，达到通用数据压缩率20%-40%，时空数据压缩率60%-70%，平均压缩率50%的效果，相当于将存储于数据库云盘中的...