本文为您介绍如何使用MaxCompute分析IP来源，包括下载、上传IP地址库数据、编写UDF函数和编写SQL四个步骤。前提条件 开通MaxCompute和DataWorks。开通DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
DataWorks各功能模块访问数据源的网络路径存在差异，因此，在数据源启用白名单控制时，需要进行针对性授权：资源组相关模块（如数据集成、数据服务）：此类模块依赖资源组的网络访问数据源，需将资源组的交换机网段或公网IP加入数据源的白...
如下图所示：问题原因 报错的IP 云原生数据仓库 AnalyticDB PostgreSQL 版 实例无法互相访问。可能原因如下：报错的IP是用户局域网的IP。未设置 云原生数据仓库 AnalyticDB PostgreSQL 版 实例的IP白名单。解决方式 如何查看本地客户端IP并...
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。核心能力 ...
MaxCompute支持通过DataWorks的 数据集成功能 以离线或实时方式导入其他数据源的数据，也支持导入部分类型的本地文件数据。本文介绍如何使用DataWorks将数据导入MaxCompute的。操作步骤 已 创建MaxCompute项目 和 创建表。用于存储后续同步...
800万/小时入库速率 10亿条在线SQL语句存储 350亿条归档SQL语句存储 支持审计25个数据库实例 20,000元/月 240,000元/年 说明 可以通过需要使用的数据库实例的数量来选择需要开通的数据库审计版本，数据库实例通过 数据库IP+数据库端口号 ...
ipaddress(implicit)ip6 ipaddress ipaddress(ip6)or ip6:ipaddress(implicit)ipaddress ip4 ip4(ipaddress)or ipaddress:ip4(assignment)ipaddress ip6 ip6(ipaddress)or ipaddress:ip6(assignment)地址范围数据类型及其类型转换 ...
ipaddress(implicit)ip6 ipaddress ipaddress(ip6)or ip6:ipaddress(implicit)ipaddress ip4 ip4(ipaddress)or ipaddress:ip4(assignment)ipaddress ip6 ip6(ipaddress)or ipaddress:ip6(assignment)地址范围数据类型及其类型转换 ...
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。规则说明 审计规则支持内置规则和自定义规则。内置规则即数据库...
访问来源 来源IP 访问数据库来源IP地址，如：192.168.XX.1~192.168.XX.128。如果需要所有来源都允许访问数据库，IP地址可设置为0.0.0.0~255.255.255.255。数据库用户 数据库所使用的用户名。客户端工具 访问数据库所使用的客户端工具名称。...
审计告警页面按照已配置的审计模式和审计规则，展示对应数据资产的审计告警，您可以根据告警详情，定位追踪数据库异常操作、漏洞攻击、数据泄露等风险。本文介绍如何查看数据资产的审计告警，帮助您更好地从审计视角了解资产的风险状态并...
dp 数据库IP。dt 数据库端口。pm 工具和应用。bi 该参数已废弃，无需关注。om OS用户。im 服务（实例）名。rs 语句执行后返回的结果集。st字段值和SQL语句类型对应关系 st字段值 对应的SQL语句类型 1 CREATE 2 SET 4 INSERT 8 SELECT 16 ...
线图层包含多个元素，具体使用请参见 基础线、纹理填充线。基础线 基础线是线图层中最基本的样式，用于以简单的线条连接地理位置，展示点与点之间的路径或关系。使用场景 基础线以简洁的方式呈现空间关系，适用于交通网络（道路、航线）、...
设置反向代理或负载均衡器：所有用户侧应用请求通过反向代理服务器或负载均衡器转发到数据库，仅将代理服务器的固定IP地址加入数据库白名单。定期更新白名单：对于IP地址在一定范围内变化的情况（如家庭宽带IP由ISP分配），定期获取这些IP...
典型应用场景 基于线上数据的开发测试（Dev或Ops）测试和预发布需要基于线上存量数据验证，但又必须保护线上数据不被污染。沙箱功能可以快速提供历史全量数据副本，同时满足快速测试迭代和数据可靠性保障需求。在线应急容灾 基于沙箱的备份...
选择 默认资源组，该资源组用于运行与当前数据源相关任务，包括数据库SQL、离线整库迁移、数据预览等。进行 测试连接 或直接单击 确定 进行保存，完成OceanBase数据源的创建。单击 测试连接，系统将测试数据源是否可以和Dataphin进行正常的...
云数据库 SelectDB 版 支持多样化的数据导入方式，涵盖原生接口与生态工具，满足从实时流数据到离线批处理的多场景需求。本文为您介绍数据导入到 SelectDB 的核心接口与工具。导入选型建议 阿里云生态源数据：DTS、DataWorks 非阿里云生态...
dp 数据库IP。dt 数据库端口。dc 数据库MAC地址。tm 会话动作时间。at 会话动作。取值：1：失败 0：登录 1：退出 rc 数据库应答码。rt 数据库应答信息。um 数据库用户名。tl 工具和应用。om OS用户。im 服务（实例）名。
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 整库离线 支持数据来源：MySQL 配置指导：数据集成侧同步任务配置 配置案例 MySQL整库离线同步至Hive
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
请在数据库实例中放开DTS公网IP段的访问权限（如数据库所属服务的防火墙或实例的IP白名单）。请确认并修正数据库的Port。当DTS测试连接失败时，你需要先通过数据库客户端连接数据库，验证数据库的存活性及数据库连接信息的正确性。如果数据...
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
调用DescribeEipMonitorData接口查看弹性公网IP（Elastic IP Address，简称EIP）的监控信息，最多查询31天内的数据，单次最多查询400个流量点的数据。接口说明 为了提供更好的获取监控数据接口体验，建议您使用云监控（CloudMonitor）提供...
接口说明 注意 使用该接口需将 OceanBase 数据传输服务器的 IP 地址（请至 OMS 数据源添加页面查询）加入到您的阿里云数据库实例的白名单、ECS 的安全规则或自建数据库对应的安全设置（通常为您自建数据库的防火墙）中以确保 OceanBase ...
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
数据管理DMS 将于2023年04月26日进行网络架构升级，届时会影响在 DMS 中管理的部分地域的非阿里云实例、阿里云经典网络实例的IP白名单。为确保 DMS 的正常使用，请您在网络架构升级前手动检查、更新在DMS管理的实例的IP白名单。升级时间 ...
本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。已开通DataWorks并创建MaxCompute数据源。本实践使用独享数据集成资源组进行离线任务运行，因此您需先...
轨迹线层 子组件拥有交互配置，可单击某个线或鼠标移入到线时，触发数据请求，抛出回调值，实现在单击或鼠标移入到线时，动态加载不同线的数据。默认抛出所单击区域的 id 值，具体配置请参见 如何配置数字翻牌器组件的回调ID。蓝图编辑器...
本文为您介绍向导模式配置离线同步任务的常规配置，各数据源配置存在一定差异，请以 支持的数据源及同步方案 为准。准备工作 已完成数据源配置。在设置数据集成同步任务之前，请确保已在DataWorks的 数据源管理 中配置好所需的源数据库和...
背景 RDS PostgreSQL基于用户VPC的网络构建，一键上云功能默认支持通过内网将其他数据库迁移到RDS PostgreSQL，如需将公网上的PostgreSQL数据库迁移上云，还需配置公网NAT网关并绑定弹性公网IP（EIP）。本文介绍为RDS PostgreSQL实例配置...
当需要实现更精细化的离线任务配置时，可以使用 脚本模式，通过编写数据同步的JSON脚本并结合DataWorks调度参数，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务的常见配置，各数据源...
数据管理DMS 支持将他云/自建数据库录入至DMS中，包含有公网IP的数据库、在ECS自建的数据库、通过数据库网关接入的数据库、通过VPC网关接入的数据库和 MyBase 数据库实例。本文介绍如何将他云/自建数据库录入至DMS中。前提条件 待录入的...
本文介绍如何在数据库自治服务DAS上接入除阿里云外的其他自建数据库，包括用户本地机房数据库、其他云厂商的数据库和其他云厂商虚拟机上的自建数据库。前提条件 DAS目前支持接入的自建数据库引擎：MySQL MongoDB PostgreSQL Redis 说明 ...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Hologres、Kafka、LogHub 配置指导：数据集成侧同步任务配置 整库离线 支持数据来源：...
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
通过离线单条管道构建同步任务 离线的数据管道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据输入组件、数据输出组件及流程和转换组件，并基于此框架设计一套简化版的中间数据传输格式，从而实现数据源之间数据传输。数据...
数据库IP 选中需要授权的数据库IP地址。说明 自建数据库的账号需要有对应的权限，详情请参见 权限说明。如果数据库已经有对应权限的账号，可以直接输入数据库账号和密码，单击 授权 即可。如果数据库中没有对应权限的账号，可以输入数据库...
数据库在存储数据时，会将同一条时间线的数据尽量聚类存储，提升时间线数据访问效率，同时更好的支持时序数据压缩。在时序表中，Tag列的值都相同的一系列数据行构成了一条时间线。时序数据库提供一系列特有的数据访问操作，包括聚合...
高级面板 打开开关，开启组件交互功能，可单击某条线或鼠标移入线上时，触发数据请求，抛出临时变量，实现在单击或鼠标移入到线时，动态加载不同线的数据。默认抛出所单击区域的 id 值，具体配置请参见 组件交互配置。蓝图交互 单击页面...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Kafka、LogHub 配置指导：数据集成侧同步任务配置 整库离线 支持数据来源：Amazon ...