使用jindofuse挂载访问OSS 利用 JindoFuse 组件将OSS数据集挂载到容器的指定路径，该工具适用于以下场景：您希望能够像访问本地数据集一样读取OSS数据，或者数据集较小，能有效利用JindoFuse的本地缓存加速。您有向OSS写入数据的需求。在 ...
本文主要介绍如何使用阿里巴巴的开源工具Datax 实现从 MySQL 到 TSDB 的数据迁移。背景 本文主要介绍如何使用阿里巴巴的开源工具Datax 实现从 MySQL 到 TSDB 的数据迁移。DataX相关使用介绍请参阅 DataX 的 README 文档。下面将首先介绍 ...
Flume最终会将数据落地到实时计算平台（例如Flink、Spark Streaming和Storm）、离线计算平台上（例如MR、Hive和Presto），也可仅落地到数据存储系统中（例如HDFS、OSS、Kafka和Elasticsearch），为后续分析数据和清洗数据做准备。...
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
本文介绍了通过mysqldump工具将 PolarDB-X 数据导出的场景和详细操作步骤。工具介绍 PolarDB-X 支持MySQL官方数据导出工具mysqldump，mysqldump能够导出表结构信息和表内数据，并转化成SQL语句的格式方便用户直接导入。说明 mysqldump适合...
MaxCompute近实时架构 上图所示即为MaxCompute高效支持上述综合业务场景的全新架构，支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的...
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
传统生产流程：首先通过数据库开发工具手动执行建表SQL，其次在IDE（集成开发环境）编写DAO代码，再通过数据库工具构建数据，最后预览数据。智能开发流程：首先通过AI IDE设计表，其次通过DMS MCP自动执行建表SQL、IDE自动生成DAO代码、MCP...
数据导入方式 数据导入方式 数据写入分类 每日数据增量 每日新行数 任务数 实时写入（Flink）实时数据 10 GB 1 亿行 80 Kafka+Routine 实时数据 10 GB 1 亿行 20 离线导入（Spark Connector、DataX）离线数据 10 GB 1 亿行 120 物化视图...
说明 您可以利用sysbench测试工具分别向压缩表和非压缩表中插入相同数据量的测试数据，观察压缩表的磁盘占用情况，压缩表的大小约为非压缩表大小的50%。计算指定表的压缩比：SELECT pg_relation_size(' tablename '):float/(relpages*8192)...
以下列举了部分连接数据库集群的示例：使用DMS连接集群 DMS是阿里云提供的图形化的数据管理工具，它是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。...
以下列举了部分连接数据库集群的示例：使用DMS连接集群 DMS是阿里云提供的图形化的数据管理工具，它是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。...
使用 dsync 工具进行在线迁移 dsync 是一款高效的数据同步工具，它能够实现从源MongoDB到目标 PolarDB PostgreSQL轻量版 集群的全量数据迁移和增量数据同步。整个过程自动化进行，可以最大限度地减少业务停机时间。前提条件 在开始迁移前，...
近实时增全量一体化架构 基于上述背景，MaxCompute推出近实时增全量一体化架构，支持丰富的数据源，并通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎...
本文将指导您如何使用StarRocks跨集群数据迁移工具。该工具提供全量及增量同步功能，旨在为您解决迁移过程中源集群与目标集群的数据同步问题，确保数据一致性的同时，最大限度减少对业务运营的影响。迁移准备 在开始迁移前，请完成以下准备...
TPC-DS官方工具只包含SQL生成器以及单机版数据生成工具，并不适合大数据场景，所以本文教程中使用的工具和集群信息如下：Hive TPC-DS Benchmark测试工具。该工具是业界最常用的测试工具，是由Hortonworks公司开发，支持使用Hive和Spark运行...
已将数据文件上传至Bucket中，上传方法请参见 使用OSS控制台上传数据文件 或 使用ossutil工具上传数据文件。已在客户端安装Python，具体请参见 安装Python。操作步骤 在客户端下载并安装GdbLoader.py工具。执行如下命令，下载图数据库GDB...
准备工作 准备工作 包含如下内容：准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 使用ossutil工具上传数据文件 ...
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
编写 代码连接到AnalyticDB for MySQL 并执行复杂的数据处理任务 合理设计表结构，提升表的查询性能 使用 Spark SQL 或 Spark应用 完成数据清洗、转换和计算 数据分析师 客户端连接AnalyticDB for MySQL 使用 BI工具 制作可视化看板 使用 ...
以下列举了部分连接数据库集群的示例：使用DMS连接集群 DMS是阿里云提供的图形化的数据管理工具，它是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。...
以下列举了部分连接数据库集群的示例：使用DMS连接集群 DMS是阿里云提供的图形化的数据管理工具，它是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。...
迁移流程概述 迁移过程主要分为五个阶段，由 nimo-shake（数据同步，包括全量同步与增量同步）、nimo-full-check（数据校验）和 PolarDBBackSync（数据反向同步）三个核心工具协同完成。全量同步（Full Synchronization）工具：nimo-shake ...
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
Kafka 集群会保存 TiCDC 工具转换的 TiDB 数据库的增量日志信息，以便数据传输在执行增量数据同步时，从 Kafka 集群中获取相应数据并实时迁移数据至 OceanBase 数据库 MySQL 租户。如果您在新建 TiDB 数据源时，未绑定 Kafka 数据源，将...
云数据库MongoDB完全兼容MongoDB协议，您可以使用数据传输服务DTS（Data Transmission Service）或MongoDB工具将本地MongoDB数据库迁移上云，详细操作请参见 数据迁移和同步。关于DTS的相关信息，请参见 DTS。管理MongoDB实例。您可以自行...
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
会话线索 支持根据时间、客户端IP、客户端端口、服务端IP、服务端端口、数据库账号、资产信息、数据库实例、客户端工具、数据库类型、主机名等多角度分析会话。详细语句线索 支持根据时间、报文检索、资产信息、数据库账号、SQL模板、客户...
背景信息 数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到StarRocks中，方便查询使用。StarRocks提供了多种导入方式，您可以根据数据量大小或导入频率等要求选择最适合自己业务需求的导入方式。StarRocks导入方式与各数据源...
商业智能（BI）分析工具可以将复杂的数据转换成图表、仪表盘等形式，以直观的方式展示分析结果，使您能够快速把握业务状态。BI分析工具连接MaxCompute，能够充分利用MaxCompute强大的数据处理能力和高性能的计算资源，为您带来更高效的数据...
云数据库 SelectDB 版 致力于提供极致性能、简单易用的数据分析服务，在宽表聚合、多表关联和高并发点查等场景下均具有优异的性能表现。本文将介绍如何通过 SSB 标准测试及 SSB flat 测试评估 SelectDB 在 SSB 1000 GB 测试集上的性能表现...
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
背景信息 数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到StarRocks中，方便查询使用。StarRocks提供了多种导入方式，您可以根据数据量大小或导入频率等要求选择最适合自己业务需求的导入方式。StarRocks导入方式与各数据源...
创建RDS MySQL数据订阅任务 创建PolarDB MySQL版数据订阅任务 创建Oracle数据订阅任务 2021年4月 类别 功能描述 相关文档 新增 ETL（Extract Transform Load）功能正在新版控制台公测中，可用于实现数据库中数据的清洗和转换处理，能够准确...
闭环的生态工具：数据管理DMS，基于阿里巴巴集团十余年的数据库服务平台的云版本，提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的Web数据库管理终端，可以为企业用户快速复制搭建与阿里集团同等安全、高效、规范的数据库...
入门指南 使用模板快速创建大屏 配置可视化组件样式和数据 发布并分享数据大屏 创建演示预案并进行投屏演示 进阶应用 使用地理小工具 添加数据源和数据集 上传和管理设计资源 生成区块实现业务复用 大屏快照创建和管理 使用全局变量实现...
数据应用：提供数据服务和数据分析。更多信息，请参见 功能概览。商业应用 数据化运维DataOps 容灾多活 T+1全量数据快照 数据集中处理 可视化报表 数据多维分析 数据灾备 典型场景 应用场景 相关操作文档 备份安全 跨阿里云账号备份恢复...
以下列出了 云原生数据仓库 AnalyticDB MySQL 版 支持的客户端或ETL工具，以及这些客户端或工具与 云原生数据仓库 AnalyticDB MySQL 版 在数据库连通性、列举数据库、建表、查询表数据等方面的兼容性。客户端与 AnalyticDB for MySQL 兼容...
DIM：全称Dimension，公共维度层，是在存储层的基础上清洗脏数据、筛选有价值数据，并且对明细数据层的事实维度表进行事实维度分离。与明细数据层相比，维度数据层有着相同的数据粒度，但是具有更小的数据量、更快的查询速度。操作步骤 ...
包含在InfluxDB发布包中：Influx-cli（1.X 版本）单独发布包：Influx-cli（2.X 版本）使用 Influx-cli（1.X 版本）工具导出数据。有两点需要注意：无需指定 precision。保留measurement列。influx-ssl \-host ts-xxx.influxdata.tsdb....