网络adb 开启工具-网络adb 开启工具文档介绍内容-移动阿里云

读Lindorm数据

spark.adb.eni.adbHostAlias.enabled 是是否开启自动将 AnalyticDB for MySQL 服务所需要的域名解析信息写入到域名映射表中。取值说明：true：开启。false：关闭。在通过ENI连接EMR Hive读写数据时，需要开启。HDFS相关配置是步骤1中...

管理“am-xxx”实例权限：{"Version":"1","Statement":[{"Action":["adb:DescribeDBClusters","adb:ListTagResources"],"Resource":"acs:adb:*:*:dbcluster/*","Effect":"Allow"},{"Action":"adb:*","Resource":["acs:adb:*:*:dbcluster/am...

通过外表导入至数仓版

重要登录云原生数据仓库AnalyticDB MySQL控制台，在集群信息页面的网络信息区域，打开ENI网络开关。开启和关闭ENI网络会导致数据库连接中断大约2分钟，无法读写。请谨慎评估影响后再开启或关闭ENI网络。AnalyticDB for MySQL 集群与 ...

扫描并发控制

动态调整Task 扫描并发额度开启和关闭动态调整Task扫描并发功能未开启动态调整Task扫描并发功能时，Task的扫描并发额度默认值为32，且可以通过 SET ADB_CONFIG TARGET_RUNNING_SPLITS_LIMIT_PER_TASK=value;调整默认值。您也可以开启态...

DMS调度Spark

使用常规的Spark开发编辑器或命令行等工具进行Spark作业开发时，仅支持单次调度Spark作业，且作业间无依赖关系和执行顺序。为解决以上痛点，您可以通过数据管理DMS 的任务编排功能，周期性、有顺序地调度Spark作业。本文介绍如何使用DMS...

WITH

对所有查询开启CTE执行优化执行SET语句对所有查询开启CTE执行优化，示例如下：SET adb_config cte_execution_mode=shared;关闭CTE执行优化对指定查询关闭CTE执行优化在指定查询语句前添加Hint，仅对该查询关闭CTE执行优化。内置数据集...

统计信息

自动收集统计信息开启或关闭自动收集统计信息的功能 AnalyticDB for MySQL 支持自动收集统计信息功能，该功能默认开启，您可以通过下列命令关闭或重新开启自动收集统计信息的功能。SET adb_config O_CBO_AUTONOMOUS_STATS_ENABLED=[false...

读写SQL Server数据

spark.adb.eni.enabled 是开启ENI访问。访问数据时，需将 spark.adb.eni.enabled 参数设置为true。spark.adb.eni.vswitchId 是交换机ID。在 RDS SQL Server 实例的数据库连接页面，将鼠标移动至VPC处，获取交换机ID。spark.adb.eni....

PlanCache

开启 PlanCache功能：SET ADB_CONFIG O_SPC_SCOPE=POINT_QUERY;关闭 PlanCache功能：SET ADB_CONFIG O_SPC_SCOPE=NONE;使用示例假设您有以下高并发点查请求：SELECT*FROM tbl0 WHERE col0=?开启 PlanCache功能，命令如下：SET ADB_CONFIG ...

读写Azure Blob Storage外表

参数说明如下：参数说明 spark.adb.eni.enabled 是否开启使用弹性网卡，这里需要配置为 true。spark.adb.eni.vswitchId 弹性网卡的交换机ID。此处需填写为Spark公网环境中指定的交换机ID。spark.adb.eni.securityGroupId 弹性网卡的安全组...

Spark应用访问公网配置说明

注意事项若自建数据库或其他云厂商数据服务存在网络安全设置（例如防火墙、IP白名单等），您需要手动将SNAT条目的公网IP地址添加到网络安全设置中，或者将交换机IP网段添加至网络安全设置中，Spark应用才能成功访问数据源。操作步骤创建...

Flink订阅Binlog

深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。（可选）单击调试。您可以使用作业调试功能模拟作业运行、检查输出结果...

CREATE EXTERNAL TABLE

开启和关闭ENI网络会导致数据库连接中断大约2分钟，无法读写。请谨慎评估影响后再开启或关闭ENI网络。RDS MySQL实例需要 AnalyticDB for MySQL 集群位于同一VPC。语法 CREATE EXTERNAL TABLE[IF NOT EXISTS]table_name(column_name column_...

DescribeAuditLogRecords-查询SQL审计日志

如果中途关闭了 SQL 审计，再次打开时，仅能查询到再次打开后的 SQL 审计日志。SQL 审计日志不记录 INSERT INTO VALUES、REPLACE INTO VALUES和 UPSERT INTO VALUES操作。当前服务的接入地址请参见服务接入点。调试您可以在OpenAPI ...

Jupyter交互式作业开发

重要关闭Jupyter Notebook页面后，自定义配置参数会失效，重新打开Jupyter Notebook页面时，需重新配置Spark应用参数，否则Spark作业会使用默认的应用配置参数运行。在Jupyter Notebook页面执行Spark作业时，所有配置项都直接写入到JSON...

IMPORT FOREIGN SCHEMA

重要登录云原生数据仓库AnalyticDB MySQL控制台，在集群信息页面的网络信息区域，打开ENI网络开关。开启和关闭ENI网络会导致数据库连接中断大约2分钟，无法读写。请谨慎评估影响后再开启或关闭ENI网络。MaxCompute 项目与 AnalyticDB...

访问MongoDB数据源

spark.adb.eni.enabled 是否开启ENI访问。使用湖仓版 Spark访问MongoDB数据源时，需要开启ENI访问。spark.adb.eni.vswitchId 交换机ID。在目标云数据库MongoDB控制台的基本信息页面获取交换机ID。spark.adb.eni.securityGroupId 云数据...

ModifyDBClusterVip-修改集群访问VIP

amv-2ze8mbuai97*VPCId string 是专有网络 VPC ID。说明 VPC 所在地域与集群属于同一地域。vpc-bp1at5ze0t5u3xtqn*VSwitchId string 是虚拟交换机 ID。说明传入的新虚拟交换机必须与集群属于同一个可用区。vsw-bp1aadw9k19x6cis9*...

DescribeDBClusterAttribute-查询集群详细信息

adb_test UserENIStatus boolean 是否已启用 ENI（Elastic Network Interface，弹性网卡）网络，取值说明：true：已启用。false：未启用。false ZoneId string 集群所在的可用区 ID。cn-hangzhou-h Engine string 集群引擎，固定为 ...

Airflow调度Spark

Airflow是比较流行的开源调度工具，可以实现各类工作负载的DAG编排与调度。您可以通过Spark Airflow Operator、Spark-Submit命令行工具来调度Spark任务。本文介绍如何通过Airflow调度 AnalyticDB for MySQL Spark作业。前提条件 AnalyticDB...

访问Elasticsearch数据源

本文介绍如何使用云原生数据仓库 AnalyticDB MySQL 版 Spark通过ENI网络读取Elasticsearch数据源。前提条件 AnalyticDB for MySQL 集群的产品系列为企业版、基础版或湖仓版。已在 AnalyticDB for MySQL 集群中创建Job型资源组。具体操作...

Spark常见报错

BROADCAST_TOO_LARGE Cannot broadcast the table that is larger than BROADCAST_MEM_NOT_ENOUGH Not enough memory to build and broadcast the table to all ADB_DOMAIN_NOT_RESOLVED unkown host.*ts.adb.com 配置弹性网卡的Spark作业...

Spark SQL交互式查询

JSON":raise ValueError("file_format must be CSV,PARQUET,ORC or JSON")runtime_config={#sql output config"spark.adb.sqlOutputFormat":file_format,"spark.adb.sqlOutputPartitions":output_partitions,"spark.adb.sqlOutputLocation...

MySQL命令行连接AnalyticDB for MySQL

使用MySQL命令行工具可远程连接云原生数据仓库 AnalyticDB MySQL 版（以下简称 AnalyticDB for MySQL）。本文介绍连接命令与示例。命令 mysql-hadb_url-P3306-uadb_user-padb_password 参数 adb_url：AnalyticDB for MySQL 集群的连接地址...

作业投递

开启或关闭自动投递：SET ADB_CONFIG SERVERLESS_ROUTER_LEVEL=0|1|2;取值如下：0（默认值）：关闭自动投递。1：仅在每月免费使用额度未耗尽时，开启自动投递。2：即使每月免费使用额度已耗尽，仍然开启自动投递。查询自动投递是否开启：...

DescribeDBClusters-查询实例列表

操作访问级别资源类型条件关键字关联操作 adb:DescribeDBClusters get DBCluster acs:adb:{#regionId}:{#accountId}:dbcluster/*无无请求参数名称类型必填描述示例值 RegionId string 是地域 ID。说明您可以调用 ...

通过外表导入至数仓版

返回结果如下：+-+-+-+-+|id|name|age|dt|+-+-+-+-+|1|james|10|202207|2|bond|20|202207|3|jack|30|202207|4|lucy|40|202207|+-+-+-+-+如果需要将特定分区的数据导入 adb_nopart_import_test，可以执行：INSERT INTO adb_nopart_import_...

DescribeDBClusters-查询集群列表

操作访问级别资源类型条件关键字关联操作 adb:DescribeDBClusters list*DBClusterLakeVersion acs:adb:{#regionId}:{#accountId}:dbcluster/{#DBClusterId} 无无请求参数名称类型必填描述示例值 RegionId string 是地域 ID。...

结果集缓存

开启结果集缓存开启结果集缓存有以下两种方式：通过Hint指定某一查询开启结果集缓存。result_cache=true*/SELECT*FROM tpcds.catalog_returns WHERE cr_item_sk 100;通过修改集群级别配置项,指定所有查询开启结果集缓存。SET ADB_CONFIG ...

SubmitSparkLogAnalyzeTask-提交Spark日志分析任务

提交一个Spark日志分析任务,服务端会开启指定Spark作业日志的分析流程并返回分析结果。接口说明地域的公网接入地址：adb.region-id.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.region-id....

访问Kafka数据源

本文介绍如何使用云原生数据仓库 AnalyticDB MySQL 版 Spark通过ENI网络访问消息队列Kafka版。前提条件 AnalyticDB for MySQL 集群的产品系列为企业版或湖仓版。已在 AnalyticDB for MySQL 集群中创建Job型资源组。具体操作，请参见新建...

数仓版快速入门

例如：oss:/testBucketname/adb/list_file_with_prefix/test*说明该模糊查询示例将匹配到满足前缀条件的所有文件和文件夹，例如：oss:/testBucketname/adb/list_file_with_prefix/testfile1 和 oss:/testBucketname/adb/list_file_with_...

访问Redis数据源

本文介绍如何使用云原生数据仓库 AnalyticDB MySQL 版 Spark通过ENI网络访问Redis数据。前提条件 AnalyticDB for MySQL 集群的产品系列为企业版、基础版或湖仓版。已在 AnalyticDB for MySQL 集群中创建Job型资源组。具体操作，请参见 ...

DescribeDBClusterAttribute-查询集群的详细属性

adb_test UserENIStatus boolean 是否已启用 ENI（Elastic Network Interface，弹性网卡）网络，取值说明：true：已启用。false：未启用。true ZoneId string 集群所在的可用区 ID。cn-hangzhou-h Category string 产品系列，取值说明：...

DescribeAuditLogRecords-查询集群的SQL审计日志

您可以调用 DescribeAuditLogConfig 接口查询 SQL 审计的开启状态，如未开启，可调用 ModifyAuditLogConfig 接口开启 SQL 审计。仅当 SQL 审计状态为开启时，才能查询到 SQL 审计日志，且只支持查询 30 天内的 SQL 审计日志。如果中途关闭...

API概览

ModifyApsSlsADBJob 修改sls投递adb数仓任务修改sls投递adb数仓任务 CreateApsSlsADBJob 创建一个SLS到ADB数仓的APS链路创建一个SLS到ADB数仓的APS链路。GetCreateTableSQL 查询某个表的建表语句查询某个表的建表语句。...

导入与导出

解决方法：请开启ENI网络，再将建表语句中的endpoint替换为实例所在地域对应的VPC网络Endpoint，重新执行建表语句。如何查看VPC网络Endpoint，请参见各地域Endpoint对照表（阿里云VPC网络连接方式）。如何解决创建MaxCompute外表时，出现...

Azkaban调度Spark

以下两种情况，您需要单击公网地址后的申请网络，手动申请公网连接地址。提交Spark SQL作业的客户端工具部署在本地。提交Spark SQL作业的客户端工具部署在 ECS 上，且 ECS 与 AnalyticDB for MySQL 不属于同一VPC。编写工作流文件，并...

EnableAdviceService-开通建议服务

用EnableAdviceService来开启建议服务。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM权限策略语句的 ...

ListSparkWarehouseBatchSQL-分页查询所有执行的Spark...

am-bp1ub9grke1*ResourceGroupName string 是开启了 Spark 引擎的 Interactive 型资源组名称。test PageNumber long 否当前页数。1 PageSize string 否每页记录数。30 返回参数名称类型描述示例值 object Schema of Response ...