数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
什么是AnalyticDB AnalyticDB是阿里云自研的云原生实时数据仓库，支持从OLTP数据库和日志文件中实时写入数据，并秒级完成PB级数据分析。AnalyticDB采用云原生存算分离的架构，存储按量付费，计算弹性伸缩，同时具备离线处理与在线分析资源...
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
大数据分析（Hive/Spark 报表）：减少报表生成时间，优化计算集群成本。湖仓一体：减少请求费用，优化数据目录（catalog）的响应延迟。AI：加速训练等场景，降低AI集群使用成本，提供更全面的能力支持。缓存策略 JindoCache支持数据缓存...
数据安全中心DSC（Data Security Center）涵盖敏感数据识别与分类、配置风险检测、安全事件告警、图片脱敏、数据库列加密以及审计日志等功能。满足等保2.0及《数据安全法》《个人信息保护法》等合规要求，适用于合规审计与企业级数据安全...
创建MySQL数据源 创建Oracle数据源 创建Microsoft SQL Server数据源 创建OceanBase数据源 创建IBM DB2数据源 创建MaxCompute数据源 创建FTP数据源 创建TDengine数据源 创建PostgreSQL数据源 创建达梦（DM）数据源 创建Amazon Redshift数据...
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，便于分析加工离线数据。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 购买并...
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
支持的源和目标数据库 数据集成支持的源数据库和目标数据库与数据迁移支持的数据库相同。数据集成的基本步骤 您可以通过以下步骤来创建和管理数据集成任务。步骤 说明 设置网络环境 在使用DTS进行数据集成之前，您必须确保DTS服务器可以...
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至整个生命周期都不会被访问。冷热数据的区分方式如下：按照数据的创建时间：通常，数据写入初期，用户的关注度较高且访问频繁，...
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
解决方案 DataWorks 联合 MaxCompute、Hologres 等云原生大数据引擎，提供一套 湖仓一体、流批融合 的一站式智能数据平台解决方案，帮助企业打破数据处理的时效壁垒。统一的数据接入与分层 通过 DataWorks 数据集成(Data Integration)，...
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
公开数据集列表 类型 数据集 数据来源及说明 数据类型 数字商业 阿里电商数据集 本数据集来源天池阿里移动推荐算法挑战赛，基于阿里巴巴100万条脱敏的商品数据，可以基于各类商品、操作、时间等字段，体验阿里云大数据分析能力。静态数据 ...
5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、...
DataWorks的Data Studio模块提供多种节点以满足不同数据处理需求：数据集成节点用于同步，引擎计算节点（如MaxCompute SQL、Hologres SQL、EMR Hive）用于数据清洗，通用节点（如虚拟节点和do-while循环节点）用于复杂逻辑处理。...
数据源支持列表 DataV-Board支持的数据源非常丰富，包含数据库类、大数据存储类、API类、文件类等。说明 代表支持，代表不支持。勾选白名单设置的数据源，一定要在数据库配置白名单方可正常连接。数据源类型 数据源 公网连接 VPC连接 白...
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多详情请参见 Apache Hudi官网。权限说明 仅支持具备 新建数据源权限点 的自定义...
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多详情请参见 Apache Hudi官网。权限说明 仅支持具备 新建数据源权限点 的自定义...
创建MySQL数据源 创建Oracle数据源 创建Microsoft SQL Server数据源 创建OceanBase数据源 创建IBM DB2数据源 创建MaxCompute数据源 创建FTP数据源 创建TDengine数据源 创建Hive数据源 创建PostgreSQL数据源 创建达梦（DM）数据源 创建...
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
通过DataWorks导入数据 Logstash插件 数仓版 通过Logstash导入数仓版 日志类数据 日志数据 数据同步 数仓版、企业版、基础版或湖仓版 通过数据同步功能同步SLS数据至数仓版 Logstash插件 数仓版 通过Logstash导入数仓版 本地数据 ...
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
通过DTS导入数据 数据传输服务 DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互。相对于传统数据迁移或同步工具，DTS ...
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
背景信息 在海量数据场景下，传统数据库备份服务面临两大越来越严重的困难：存储成本：为了保障数据恢复点目标（Recovery Point Objective，RPO），周期性的全量和增量备份产生大量重复数据，导致存储成本过高。使用成本：您必须待数据完成...
通过创建Greenplum数据源能够实现Dataphin读取Greenplum的业务数据或向Greenplum写入数据。本文为您介绍如何创建Greenplum数据源。背景信息 Greenplum是一款大数据分析引擎，适用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
数据更新频率低、基于主键更新，可通过 REPLACE INTO 或者 UPDATE 单条更新数据。数据更新频率低、基于任意条件的更新，可通过 UPDATE 更新数据。删除数据、分区、表 AnalyticDB MySQL版 有多种删除数据的方式，建议如下：数据删除频率低、...
通过创建Greenplum数据源能够实现Dataphin读取Greenplum的业务数据或向Greenplum写入数据。本文为您介绍如何创建Greenplum数据源。背景信息 Greenplum是一款大数据分析引擎，适用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
对于非ONLINE状态的同名数据库，根据不同场景解决：场景1：OSS备份数据恢复上云时选择不打开数据库 产生原因 在使用 OSS备份数据恢复到RDS SQL Server 时如果选择了 不打开数据库（还有差异备份或日志文件）选项，数据库会处于非ONLINE状态...
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
Data Studio介绍 Data Studio是智能湖仓一体数据开发平台，内置阿里巴巴15年大数据建设方法论，深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构...
Data Studio介绍 Data Studio是智能湖仓一体数据开发平台，内置阿里巴巴15年大数据建设方法论，深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构...
背景信息 智能分析套件 Quick BI 是一个专为云上用户设计的易上手且性能强的大数据分析平台，不仅是业务人员查看数据的工具，更是数据化运营的助推器。前提条件 在执行操作前，请确认您已满足如下条件：已 创建MaxCompute项目。已获取可...