本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
云数据库ClickHouse 是开源列式数据库管理系统ClickHouse在阿里云上的托管服务，分为企业版和社区兼容版，在开源版本基础上提升了稳定性、安全性和可运维性。用户可以在阿里云上便捷地购买云资源，搭建自己的ClickHouse集群。云数据库...
作为学院派关系型数据库管理系统的鼻祖，它的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等，而大部分商业数据库都不支持这些数据类型。除了完美支持事务、子查询、多版本控制（MVCC）...
在 DataWorks 添加 ApsaraDB For OceanBase 数据源的相关操作，请参见：什么是DataWorks 数据源概述 支持的数据源及同步方案 ApsaraDB For OceanBase数据源 实时计算 Flink 版 实时计算 Flink 版是阿里云提供的全托管 Serverless Flink ...
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面...
Lindorm计算引擎是一款基于 云原生多模数据库 Lindorm 核心能力实现的数据库内 高性能、低成本、稳定可靠 的分布式计算服务，满足用户在 云原生多模数据库 Lindorm 支撑场景下的数据生产、交互式分析、机器学习和图计算等场景中的计算需求...
云数据库 Memcache 版兼容 Memcached 二进制协议和文本协议两种方式。实例 ID 实例对应一个用户空间，是使用云数据库 Memcache 版的基本单位。云数据库 Memcache 版对单个实例根据不同的容量规格有不同的 QPS 和流量限制。用户可在控制台中...
Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...
注意事项 仅 云数据库ClickHouse 社区兼容版集群的规格类型为 大存储型20核88 GB、大存储型40核176 GB 和 大存储型80核352 GB 时支持添加云盘和扩容磁盘。单个 云数据库ClickHouse 社区兼容版集群仅支持添加一种存储空间。云数据库...
云原生数据湖分析DLA（Data Lake Analytics）是无服务器（Serverless）化的云上交互式查询分析服务，支持通过Presto和Spark引擎分析多种数据源中的数据。快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与...
相关操作 在数据源添加成功后，在 数据源管理 页面，可对数据源进行以下操作：操作 说明 查看数据源详情 在数据源列表，单击目标数据源 操作 列的 更多，选择 查看详情，查看数据源的基本信息和数据对象的表结构信息。编辑数据源 在数据源...
产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是整个数据管理系统中最为核心和基础的，不光直接影响到终端用户的服务体验，同时也是业务数据的最后一道保险，所以稳定性是数据库最核心的选型因素。PolarDB-X 1.0 的稳定性...
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
DLA Spark基于云原生架构，提供面向数据湖场景的数据分析和计算功能。开通DLA服务后，您只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓...
云原生数据库PolarDB 基于Cloud Native设计理念，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、快速迭代的优势。本文将介绍 PolarDB 的产品架构及特点。图 1.产品架构图 一写多读 PolarDB 采用分布式...
架构特点 云原生架构（存储和计算分离，低成本）PolarDB-X 列存索引，采用云原生对象存储OSS作为主要数据存储（成本仅为本地盘的1/6~1/10），同时结合列存数据本身的高压缩性（3~5倍），可以提供非常有竞争力的低成本优势。在HTAP行列混存...
Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与各类大数据平台集成，完成数据的大规模离线分析。基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...
云原生数据库PolarDB 基于Cloud Native设计理念，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、快速迭代的优势。本文将介绍 PolarDB 的产品架构及特点。图 1.产品架构图 一写多读 PolarDB 采用分布式...
代表场景 类型 存储对象 引擎接口 优势 社交分发或聊天信息等 KV Key和Value HBase API 延迟低、并发高 传统关系型数据库升级 SQL 关系模型 SQL（参见Lindorm产品）存储量大、分布式SQL数据库 风控或画像 表格存储 稀疏Table HBase API ...
说明 容量型云存储使用高密度磁盘存储阵列，提供极低成本存储能力，和高吞吐读写能力，但随机读能力较弱，适用于写多读少场景或大数据计算场景。宽表引擎、文件引擎、流引擎 不涉及。本地SSD盘 0.1ms~0.3ms 网络游戏、电商、视频直播、媒体...
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
您可以使用规则引擎数据流转，将数据转发至函数计算（FC）中，然后由函数计算运行函数脚本进行业务处理。前提条件 已创建函数计算的服务和函数，并完成函数配置，验证函数能正常执行。函数计算使用方法，请参见 函数计算文档。重要 创建...
将数据字典和质量校验函数以及逻辑表物理化到数据库，帮助您在数据标准的约束下构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据。前提条件 已根据快速入门教程完成加载样...
支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎支持近实时增量处理链路和大规模离线批量处理链路，而且由统一的元数据服务支持...
应用场景 企业数据智能平台 工作组的云计算资源功能中，以阿里云实例模式新建云资源时，需要访问RDS、AnalyticDB MySQL、AnalyticDB PostgreSQL、PolarDB等资源的实例信息，需通过服务关联角色功能获取访问权限。AliyunServiceRoleForDataQ...
概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、函数和存储过程，用于在云原生关系型分布式数据库PolarDB中对空间/时空数据进行高效的存储、索引、查询和分析计算。本文档向您介绍在PolarDB中如何使用Ganos对时空...
云原生多模数据库 Lindorm 将容量型云存储作为冷存储介质，用于存储数据库中访问频率较低的历史数据（冷数据），从而降低存储成本。本文介绍容量型云存储的功能特性及性能测试结果。功能特性 存储成本低。存储成本仅为标准型云存储成本的20...
本文介绍云数据库MongoDB手动备份数据的方法。前提条件 已创建云数据库MongoDB单节点实例、副本集实例或分片集群实例。注意事项 如果您购买的云数据库MongoDB实例数据库版本低于MongoDB 4.0，且备份方法选择 物理备份，当该实例中集合和...
概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、函数和存储过程，用于在云原生关系型分布式数据库PolarDB中对空间/时空数据进行高效的存储、索引、查询和分析计算。本文档向您介绍在PolarDB中如何使用Ganos对时空...
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换开源体系。2015~2018年，平台开始日趋成熟，ODPS更名为MaxCompute。单集群已过万台，...
技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九十年代得到了发展。近些年来，随着业务数据量的...
数据安全 云数据库ClickHouse集群数据存储在阿里云ESSD云盘、SSD云盘或高效云盘中，数据采用3备份方式存储，保证数据可靠性和一致性。日志审计 云数据库ClickHouse提供用户行为日志审计功能，包括运行记录、安全信息等内容。最佳实践 1.VPC...
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...
这些系统可以广泛应用于云计算、高性能计算、大数据分析、媒体处理和其他需要处理大型数据集的场景。本文介绍 云备份 大规模文件系统（除NAS以外）备份的功能概览，包括优势、工作原理、操作流程和费用等。NAS备份请使用 云备份 的阿里云...
项目 限制说明 数据类型 云数据库 Memcache 版仅支持 Key-Value 格式的数据，不支持 array、map、list 等复杂类型的数据。数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合...
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
数据源类云产品 使用DataWorks进行数据集成时，支持将数据从不同数据源间进行离线或实时同步，各类阿里云或自建关系型数据库、非结构化存储、大数据存储、消息队列等产品均支持添加为DataWorks的数据源，添加完成后即可使用DataWorks进行...
通过结合其他云产品，云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索 开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算
通过物理化数据字典，可以将数据字典物理化到云计算资源生成物理表，保证设置的数据质量规则在云计算资源中生效。本文介绍如何物理化数据字典。前提条件 已创建或者导入数据字典，具体操作，请参见 新建数据字典 和 导入数据字典。已创建...