为了聚焦资源以提供更先进、更安全的产品版本，云数据库 Tair（兼容 Redis）的兼容Redis® 4.0版本实例计划进入生命周期结束（EOS）阶段。服务终止日期为 北京 时间2026年09月25日，请尽快升级实例至高版本。关键时间线与影响 关键节点 ...
会话线索 支持根据时间、客户端IP、客户端端口、服务端IP、服务端端口、数据库账号、资产信息、数据库实例、客户端工具、数据库类型、主机名等多角度分析会话。详细语句线索 支持根据时间、报文检索、资产信息、数据库账号、SQL模板、客户...
TPC-DS官方工具只包含SQL生成器以及单机版数据生成工具，并不适合大数据场景，所以本文教程中使用的工具和集群信息如下：Hive TPC-DS Benchmark测试工具。该工具是业界最常用的测试工具，是由Hortonworks公司开发，支持使用Hive和Spark运行...
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
步骤二：配置并启动迁移任务 DSync工具提供自动化的Collection同步、全量数据同步与增量数据同步，仅需将DSync工具启动，数据同步即可自动进行。设置环境变量：启动DSync工具仅需提供源库和目标库的连接串（URI）即可，这里通过环境变量的...
数据管理DMS的产品架构分为三层：数据源、数据运营与管理和商业应用，同时DMS内置的 数据灾备 提供数据全量备份、增量备份、异地备份以及数据恢复等功能，帮助您实现更多的典型应用场景。数据源 关系型数据库：MySQL、SQL Server、...
迁移流程概述 迁移过程主要分为五个阶段，由 nimo-shake（数据同步，包括全量同步与增量同步）、nimo-full-check（数据校验）和 PolarDBBackSync（数据反向同步）三个核心工具协同完成。全量同步（Full Synchronization）工具：nimo-shake ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移任务长期处于非活跃状态（任务状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，任务可能无法恢复。数据传输将主动释放...
本文以导入On Time数据集至clickhouse_demo数据库的分布式表ontime_local_distributed为例，介绍如何使用客户端clickhouse-client工具导入数据到 云数据库ClickHouse。前提条件 已完成快速入门系列的如下步骤。新建集群 创建账号 设置白...
本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...
包含在InfluxDB发布包中：Influx-cli（1.X 版本）单独发布包：Influx-cli（2.X 版本）使用 Influx-cli（1.X 版本）工具导出数据。有两点需要注意：无需指定 precision。保留measurement列。influx-ssl \-host ts-xxx.influxdata.tsdb....
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。规则说明 审计规则支持内置规则和自定义规则。内置规则即数据库...
本文介绍如何使用mysqldump工具将自建MySQL数据库迁移至 PolarDB MySQL版。前提条件 目标 PolarDB MySQL版 集群需已完成如下操作：创建数据库 创建和管理数据库账号 设置白名单 申请公网连接地址 迁移方式对比 您可以通过mysqldump或DTS...
该方案可以打破数据湖与数据仓库割裂的体系，并融合数据湖的灵活性、丰富的多引擎生态与数据仓库的企业级能力，助力构建数据湖和数据仓库相融合的数据管理平台（本功能处于公测阶段）。概念说明 数据仓库与数据湖对比 类别 能力 数据仓库 ...
获取Python语言的SDK示例。单击 下载完整工程，下载示例代码包。在本地解压进入 alibabacloud_sample 目录。运行代码 执行以下命令：python sample.py 得到如下输出结果：{"EndTime":"2023-07-11T08:13:04Z","NextToken":"eyJhY2NvdW50...
请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的数据库，具体请参见 如何使用DataV Proxy。如何配置CSV数据来源？保留CSV的首行作为表头，并且每一个...
为了解决这些问题，阿里云瑶池数据库提供了无感集成（Zero-ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据...
Python代码的缩进需要符合Python语言规范。由于注册Python UDF时 AS 后的类名需要包含Python源码的文件名，您可以通过 'filename'='embedded' 指定一个虚拟文件名。Python不同版本的开发和使用请参考：Python2:UDF开发（Python2）Python3:...
db.py 代码介绍 db.py 文件是一个 Python 语言编写的封装数据库操作的模块，主要用于实现数据库的增删改查操作。该文件中主要包括以下几个部分：导入 MySQLdb 模块和导入数据库连接参数。代码如下：import MySQLdb from config import ...
本文介绍如何使用阿里云Python语言SDK开发包，调用数据传输服务DTS（Data Transmission Service）的WhiteIpList接口（查询DTS服务的IP地址）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要的...
背景信息 Python是机器学习和AI模型开发的主流编程语言，提供了丰富的科学计算和可视化库，如NumPy（N维数组运算）、Pandas（数据分析）、Matplotlib（2D绘图）和Scikit-Learn（数据分析和挖掘算法）。同时，Python还支持TensorFlow、...
在DataWorks的ODPS Spark节点配置以下参数：参数名 配置详情 spark版本 Spark2.x 语言 Python 选择主python资源 spark_test.py 配置项-资源申请相关配置 spark.executor.instances=3 spark.executor.cores=1 spark.executor.memory=4g ...
本文介绍如何使用阿里云Python语言SDK开发包，调用 数据灾备 的DescribeBackupPlanList接口（查看备份计划）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档（DescribeBackupPlanList），了解、学习调用该接口所需要的参数及...
生态工具 PolarDB-X 高度兼容MySQL协议和生态，可支持MySQL开源生态中常用的MySQL驱动（JDBC/ODBC）、多语言兼容（Java/GO/C/C++/Python等）、数据导入导出工具、各种客户端GUI等。PolarDB-X 提供完整的生态工具方案。闭环的生态工具：数据...
本文介绍如何使用阿里云Python语言SDK开发包，调用 数据管理DMS 的ListInstances接口（获取实例信息列表）。步骤一：查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要的参数及权限等，更多信息请...
重要 本地开发依赖的Flink版本需确保与后续 步骤三：部署Python作业 选择的引擎版本保持一致，在Python作业中使用其他依赖（自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等）的方法请参见 使用Python依赖。为了帮助您快速熟悉...
打开PyCharm，单击New Project，创建一个新项目用于管理使用Python语言的软件应用或工具。在New Project窗口填写项目信息。Name：项目名称，例如pythonProject。Location：项目文件的保存位置，方便您管理项目文件。说明 Create Git ...
原始数据集 查询结果集 变量 Python分析 使用Python编程语言及其丰富的数据分析库（例如，Pandas、NumPy等）对数据进行清洗、建模和可视化。适用于Python代码能力较好的用户。原始数据集 查询结果集 变量 文本分析 通过自然语言或Markdown...
PyODPS是MaxCompute的Python SDK，能够方便地使用Python语言与MaxCompute进行交互和数据处理。通过该SDK，可以更高效地开发MaxCompute任务、进行数据分析和管理MaxCompute资源。本文为您介绍PyODPS的使用和常见方法。PyODPS介绍 PyODPS提供...
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
DataV.GeoAtlas是一款线上地理小工具，能进行地理范围选择、数据编辑和层级生成等功能。本文简述DataV.GeoAtlas工具的基本情况。DataV.GeoAtlas工具主要由 范围选择器、数据编辑器 和 层级生成器 三个子工具模块组成，您可以通过打开 DataV...
架构图 MyBase on ECS MyBase on ACK 架构说明 云数据库专属集群MyBase开放版 由四类产品组成：社区开源产品 集成社区开源数据库引擎和管控工具，例如MySQL，Orchestrator、Prometheus等。MyBase开源增强 MyBase给予开源社区版本的组件，...
本文介绍如何通过 Python SDK 为数据表设置主键列自增，以及如何为自增列写入数据并获取生成的自增值。注意事项 表格存储 Python SDK 从 4.0.0 版本开始支持主键列自增。自增列生成的自增值在分区键级别唯一且严格递增，但不保证连续。前提...
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
本文介绍如何通过Java、Python或C的应用程序访问RDS MySQL数据库。参数说明 示例代码中的参数说明如下。参数 说明 Host RDS实例的内网地址或外网地址。若您的客户端部署在ECS实例上，且ECS实例与要访问的RDS实例的地域、网络类型相同，请...
常见于数据挖掘场景或者以Python语言为核心的Spark作业中。解决方法：调大 spark.executor.memoryOverhead 参数，该参数表示容器内部非Spark Executor进程可使用的内存容量（单位MB），默认为Executor容器总内存容量的百分之三十。例如您...
云数据库 SelectDB 版 支持接入多种可视化工具，以满足不同业务场景的需求。本文为您提供 SelectDB 数据可视化工具的对比与选型指南，助您快速找到最适合的工具。可视化工具 典型适用场景 工具优点 工具缺点 文档链接 Quick BI 数据整合与...
产品简介 云数据库专属集群MyBase开放版 将主机资源、数据库引擎、数据库管控工具进行了解耦，使用 MyBase开放版 时，您将拥有主机的Root管理权限、数据库内核完整的参数权限，并可以自主管理运维数据库。在MyBase中，您能够拥有互联网数据...
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
AGE项目提供图数据可视化工具，可将查询结果进行图形化的表达。可视化工具下载地址 适配 PolarDB 的可视化工具：age-viewer_20250718.tar.gz 使用说明 说明 运行可视化工具需在服务器安装Docker环境，详细配置请参考 安装并使用Docker和...