云数据库 SelectDB 版 支持多样化的数据导入方式，涵盖原生接口与生态工具，满足从实时流数据到离线批处理的多场景需求。本文为您介绍数据导入到 SelectDB 的核心接口与工具。导入选型建议 阿里云生态源数据：DTS、DataWorks 非阿里云生态...
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
如果数据量较大，需要并发导入，则建议您先通过数据集成服务把数据从其他数据源导入到OSS，再通过OSS外部表导入 AnalyticDB PostgreSQL版。Pentaho Kettle 数据集成软件：开源的ETL工具。支持将数据先通过Kettle导入到本地磁盘，再通过COPY...
非结构化数据（OSS、SLS）：扫描1 TB数据需要6小时~48小时（因1 TB数据中不同文件类型分布会导致扫描时长区间跨度大），平均时长为24小时。扫描机制 任务类型 首次扫描 后续自动扫描 系统默认任务 全量扫描目标资产中现有的全部数据。对...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
MaxCompute推出DLF+OSS类型的外部Schema，通过映射DLF Legacy Catalog并配置和OSS的连接，实现元数据与数据的实时访问。功能介绍 DLF+OSS数据源是以OSS作为数据湖存储服务，以DLF Legacy（下文简写为DLF）为湖上元数据管理服务的常用数据湖...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
删除或更新数据 大部分数仓都难以实现较为高效的行级数据删除或更新，通常需要启动离线作业把整个表原始数据读取出来，然后变更数据后，写入到一个原始表。而Iceberg成功把变更的范围从表级别缩小到了文件级别，从而可以通过局部变更来完成...
HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL交互查询，请参见 数据查询，也支持使用开源工具HBase Shell/CQLsh。HBase Shell CQLsh 生态体系 数据搬迁 支持与HBase/Cassandra各个版本之间的在线、跨版本、自动化、高效搬迁...
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
元数据管理功能主要展示当前实例的所有数据库、数据表、分区及各种任务等信息，同时支持创建数据库和数据表，并定义其列及相关属性。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、缓存数据...
然而，传统的数据分析一般需要专业的技术人员使用复杂的工具进行操作，这使得非技术人员难以直接参与。阿里云百炼+DMS MCP 构建的ChatBI数据助手可以解决上述问题。ChatBI数据助手通过集成先进的NL2SQL（自然语言转SQL）和大型语言模型，来...
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。核心能力 ...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
阿里云开放的大数据平台 E‑MapReduce(EMR)提供了多种产品形态，以满足不同用户的业务需求。根据部署方式可分为 EMR Serverless Spark、EMR Serverless StarRocks、EMR on ECS 和 EMR on ACK。为帮助用户选择合适的产品，以下整理了各产品...
云数据库 SelectDB 版 支持接入多种可视化工具，以满足不同业务场景的需求。本文为您提供 SelectDB 数据可视化工具的对比与选型指南，助您快速找到最适合的工具。可视化工具 典型适用场景 工具优点 工具缺点 文档链接 Quick BI 数据整合与...
数据库自治服务DAS（Database Autonomy Service）提供流量回放与压测功能，帮助您验证您的实例规格是否需要扩容，以便有效地应对业务流量高峰。适用场景 为应对即将到来的短期业务高峰，验证当前数据库实例规格是否需要扩容。数据库结构...
丰富的数据可视化编辑工具 可视化拖拽界面，强大的编辑功能 提供地图、信息、表格和控件等多种业务模块级的非图表组件，所见即所得式的配置方式，只需要通过拖拉拽即可创造出专业的可视化应用。丰富的组件库与模板库 提供零售、工业、物...
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
丰富的数据可视化编辑工具 可视化拖拽界面，强大的编辑功能 提供地图、信息、表格和控件等多种业务模块级的非图表组件，所见即所得式的配置方式，只需要通过拖拉拽即可创造出专业的可视化应用。丰富的组件库与模板库 提供零售、工业、物...
中国国际大数据产业博览会十佳大数据案例 中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测 更多阅读 云计算主题概念了解：数据湖、数据仓库、数据中心。DataWorks概念和产品生态：基本概念、产品...
任务并发数配置最佳实践：任务并发数越大，任务运行需要抢占的资源越多，DataWorks数据集成任务的资源队列是FIFO（先进先出），即前面提交任务先抢占资源运行，后提交的任务后抢占资源运行。建议您合理配置任务并发数，避免大并发任务长...
购买 数据安全中心DSC（Data Security Center）实例后，在使用 DSC 检测大数据产品（包括TableStore、MaxCompute、AnalyticDB-MYSQL、AnalyticDB-PG）中存在的敏感数据或审计数据库等功能前，您需要先开启对应功能。前提条件 已开通数据...
由于本次测试数据量较大，已超过默认的Stream load最大导入限制10240MB，因此您需要将BE的参数streaming_load_max_mb调整至最大值10240000MB。如何修改参数，请参见 参数配置。创建待导入测试数据的目标库。如果您已有目标库，跳过此操作。...
栅格化GIS应用及航天航空遥感应用 HBase Ganos提供了针对栅格数据管理的通用化模型支持，能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS...
有无触发器对比 有触发器：基于触发器设计的工具代码逻辑相对简单，大部分数据上的工作交给了触发器去完成，包含数据库的隐式处理、数据类型以及切换等相关操作，简化了进行实时表迁移的大量流程。无触发器：无触发器设计最大的优点是和...
应用只需要修改数据库连接地址和数据库驱动包即可，很大程度地减少了研发资源的投入。由于需要研发投入的资源减少，上云周期也可以大幅度地缩短。DTS支持 PolarDB PostgreSQL版（兼容Oracle）作为数据源，能够解决上云之后对于DTS的依赖。...
如果没有工具来分析这些海量数据，企业无法在商业智能表上留下大量有价值的数据。因此，“数据多模”需求被逐步提出。传统大数据技术可以满足此类需求，但其发散的技术栈和不统一的使用习惯，都难以在广大企业内落地使用。因此急需统一、...
互联网行业：快狗打车云上大数据仓库 客户简介 快狗打车则一直坚持通过“连接网络化”、“运力共享化”、“过程数据化”、“匹配智能化”等数字信息化解决方案，将闲散运力统一整合到平台上，通过大数据将运力精准匹配市场需求，实现运力的...
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
由于本次测试数据量较大，已超过默认的Stream load最大导入限制10240MB，因此您需要将BE的参数streaming_load_max_mb调整至最大值10240000MB。如何修改参数，请参见 参数配置。创建待导入测试数据的目标库。如果您已有目标库，跳过此操作。...
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳法...
读/写-LogHub（SLS）数据源 读/写 读-MaxCompute数据源 读/写 写 写-写 MariaDB数据源 读/写-Maxgraph数据源 写-Memcache（OCS）数据源 写-MetaQ数据源 读-Milvus数据源 读/写-MongoDB数据源 读/写-读-MySQL数据源 读/写 读 读 读 读 ...
OceanBase 数据库相同租户之间的数据同步 新功能特性 迁移 PostgreSQL 数据库的数据至 OceanBase 数据库 Oracle 租户时，新增支持动态修改迁移/同步对象，包括动态增加/减少对象和动态修改匹配规则，支持用户在一个数据迁移/同步任务中管理...
无优化，数据集成需要较大开发。MaxCompute 产品化集成，请参见 全量导出MaxCompute。数据集成需要较大开发。日志服务（SLS）请参见 LTS（原BDS）服务介绍，支持SLS数据到HBase的 日志服务（SLS）增量导入。数据集成需要较大开发。服务能力...
支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎支持近实时增量处理链路和大规模离线批量处理链路，而且由统一的元数据服务支持...
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...