在DataV-Note（智能分析）中基于PolarDB MySQL数据制作报告前，需先将您的PolarDB MySQL实例添加为DataV-Note的数据源。添加完成后，可在DataV-Note各项目中使用该数据源，访问实例数据并进行相应的数据查询、分析、可视化展示等操作。本文...
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
说明 如您需更丰富的数据上传功能，可使用DataWorks的上传与下载模块。上传与下载支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎，详情请参见 数据上传。上传数据操作入口 您可在数据开发...
云企业网 通过CEN实现本地IDC与DTS云服务互通 添加DTS服务器的IP地址段 数据迁移 数据同步 数据订阅 数据校验 云企业网CEN 数据库网关 通过数据库网关将本地IDC或第三方云的数据库接入至阿里云 添加DTS服务器的IP地址段 数据迁移 数据同步 ...
为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与MaxCompute在数据库连通性、列举数据库等方面的兼容性。兼容性说明 商业智能（BI）分析工具与MaxCompute的兼容性说明如下。工具 ...
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
数据库地址 部署Alibaba AnalyticDB for MySQL 3.0的外网地址和端口（若使用VPC数据源，需填写部署数据库的内网地址和内网端口）。请登录 云原生数据仓库AnalyticDB MySQL控制台，在连接信息处获取数据库地址。例：am-xxxxxxxxxxxxxxxxxxxx...
MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景，并在业界具有较大的性能优势，本文基于MaxCompute提供的公开数据集及测试工具，以大数据基准测试TPC-DS为例为您验证MaxCompute的性能。当前MaxCompute提供两种不同性能测试方式，...
添加项目基底数据 添加基底数据对话框内，提供了创建一个项目所需的功能，如添加空间实体、选择区域及查看区域数据等。选择空间实体 在 我的项目 页面，单击 创建项目。输入项目名称后，在 添加基底数据 对话框左侧的 空间实体 列表中，您...
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
参数管理 当数据开发的业务流程中，下游节点的任务需要使用某些常量参数、变量参数时，您可以使用参数节点，将下游节点需要使用的参数均添加至参数节点中，需使用参数的下游节点直接挂在参数节点之下，即可获取使用所需参数，便于整个业务...
当 对象为全域表、数据源、标签时，所支持的操作需具备以下权限：查看问题详情/查看操作记录：需具有 质量规则-管理 权限的自定义全局角色、问题负责人或问题提出人支持操作。发起整改/忽略本次异常/取消忽略异常/重新校验/标记为已处理...
当 对象为全域表、数据源、标签时，所支持的操作需具备以下权限：查看问题详情/查看操作记录：需具有 质量规则-管理 权限的自定义全局角色、问题负责人或问题提出人支持操作。发起整改/忽略本次异常/取消忽略异常/重新校验/标记为已处理...
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
云原生数据仓库 AnalyticDB MySQL 版 支持数据同步APS（AnalyticDB Pipeline Service）功能，您可以新建Kafka同步链路，通过同步链路从指定时间位点，实时同步Kafka中的 数据入仓。本文主要介绍添加Kafka数据源、新建Kafka同步链路并启动...
DLF Data Share是阿里云DLF（Data Lake Formation）产品中实现跨账号数据协作的核心功能，通过标准化流程帮助用户安全高效地管理数据权限与访问。本文档详细阐述了数据共享的全流程，包括Provider（提供者）如何创建共享资源、管理接收方...
方案说明 数据源部署在本地IDC场景下，推荐使用VPC网络（内网）连接，使用网络连通工具（高速通道）将数据源所在的本地网络与DataWorks工作空间资源组的VPC打通，实现网络互通。网络连通示意图 前提条件 已在本地IDC中部署了DataWorks支持...
实时集成支持多种来源端数据源汇聚组合至目标端数据源，形成实时同步链路进行数据同步。本文为您介绍如何创建实时集成任务。前提条件 已完成数据源配置。您需要在配置实时集成任务前，配置好您需要集成的数据源，以便在配置实时集成任务...
腾讯云数据库SQL Server 是 使用DTS逻辑迁移上云 使用OSS物理备份手动上云 使用SSMS工具上云 使用DTS逻辑迁移上云 Google Cloud SQL for SQL Server 是 使用SSMS工具上云 使用DTS逻辑迁移上云 说明 增量数据需使用 轮询查询CDC实例做增量...
您可在 数据管理DMS 控制台可视化创建、修改或删除数据库，无需执行SQL命令。说明 目前DMS仅支持管理MySQL、PostgreSQL、MongoDB三种引擎的数据库，其他引擎的数据库管理，请前往对应的控制台或本地数据库进行操作。前提条件 您的 系统角色...
本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具信息，为后续使用MaxCompute SQL提供帮助。应用场景 MaxCompute SQL适用于海量数据（GB、TB、EB级别）、离线批量计算的场景。提交MaxCompute作业后，会存在几十秒到数分钟不等的...
源库信息 选择已有连接信息 若您需要使用 已录入系统（新建或保存）的数据库实例，请在下拉列表中选择所需的数据库实例，下方的数据库信息将自动进行配置。说明 DMS控制台的配置项为 选择DMS数据库实例。若您未将数据库实例录入到系统，或...
跨租户发布数据用于迁移租户间的数据，以满足不同数据的应用场景，帮助企业实现数据应用价值最大化。5分钟快速了解 前提条件 已购买跨租户发布增值服务。更多信息，请参见 购买指引。进行跨租户发布前，请确保来源租户与目标租户的 ...
跨租户发布数据用于迁移租户间的数据，以满足不同数据的应用场景，帮助企业实现数据应用价值最大化。5分钟快速了解 前提条件 已购买跨租户发布增值服务并且当前租户已开通跨租户发布模块；跨租户发布过程中，若需要导出或导入标签架构、...
在进行数据发布前，可通过检查项对数据开发功能相关的约束进行检查，当检查出不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件，您可基于该事件处理暴露的问题，以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
数据库恢复加速选项：RDS SQL Server 2019及更高版本提供加速数据库恢复（Accelerated Database Recovery）选项，可能会减少数据库恢复上线步骤所需时间。具体请根据 微软官方 文档综合评估是否启用此选项。预估示例 测试实例：实例规格为4...
线上业务爆发，需求积压严重，期望有整体解决方案，能够快速灵活支持业务发展所需的技术扩展。价值体现 通过 MMA工具，15天完成400TB+历史数据迁移，同时保证了迁移的准确性，让客户拥有平滑高效的上云体验。基于飞天大数据平台产品...
导入所需的库 import oss2 import psycopg2 import logging#连接oss auth=oss2.Auth('AK_ID','AK_Secret')bucket=oss2.Bucket(auth,'*endpoint*','*bucket_name*')#连接数据库，获取游标 con=psycopg2.connect(database="*dataq*",user="*...
导入所需的库 import oss2 import psycopg2 import logging#连接oss auth=oss2.Auth('AK_ID','AK_Secret')bucket=oss2.Bucket(auth,'*endpoint*','*bucket_name*')#连接数据库，获取游标 con=psycopg2.connect(database="*dataq*",user="*...
数据源用于连接各类数据库和存储服务（如MaxCompute、MySQL、OSS等），是 数据集成同步任务 的必备配置，决定任务读取（数据来源）和写入（数据去向）的数据库。数据源的作用 在数据集成任务中，数据源扮演着数据流动两端的“端点”角色：...
AnalyticDB PostgreSQL版 基于开源数据库Greenplum构建，兼容Greenplum接口及相关工具，兼容业界主流BI工具，也兼容阿里云提供的Quick BI及DataV等数据智能和展现工具。针对业界主流工具，用户可以选择以Greenplum或PostgreSQL作为数据源...
该状态的持续时间与库表数据量成正比，数据量越大，所需时间越长。重要 恢复任务一旦开始，无法暂停或中断。恢复任务进行中时，请勿重复执行恢复操作，否则会提示“操作失败，该实例状态下不支持此操作。请等待当前恢复任务完成后再执行下...
操作指引 Kettle MaxCompute：JDBC驱动版本≥3.2.8 使用Kettle调度MaxCompute Apache Airflow 无特殊要求 使用Apache Airflow调度MaxCompute Azkaban 无特殊要求 使用Azkaban调度MaxCompute BI工具 适用场景：将计算引擎得到的数据通过仪表...
使用数据安全中心DSC（Data Security Center）对数据库进行分类分级前，需要购买并使用对应的授权数，即数据库实例数和OSS、SLS的存储容量。本文介绍消耗、释放授权数的场景，以及如何扩充授权数，帮助您更好的使用DSC。消耗授权额度 数据...
进入 数据使用安全 敏感数据管理，在页面弹窗内，首次需选择数据保护伞，授权后才可使用保护伞的相关功能。在左侧导航栏，单击 规则配置 数据脱敏管理，进入数据脱敏管理页面。脱敏规则应用示例 实践示例：MaxCompute底层脱敏使用方法 数据...
若触发检测导致建表受阻，您需进入数据建模，创建模型，并将其发布为所需名称的物理表。策略详情说明 配置项 描述 规则 用于限制在数据开发（DataStudio）中创建物理表时的表命名规则。可设置表名开头是否包含相应格式的内容。说明 当前仅...
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...