本文介绍如何配置Spark Shell类型的作业。前提条件已创建好项目，详情请参见项目管理。操作步骤进入数据开发的项目列表页面。通过阿里云账号登录阿里云E-MapReduce控制台。...
本文介绍如何配置Spark Streaming类型的作业。前提条件已创建好项目，详情请参见项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤进入数据开发的项目...
Spark SQL任务参数Spark SQL配置默认支持以下任务参数。参数名称参数默认值描述spark.executor.instances 1静态分配的执行器数量。spark.executor.cores 1每个执行器上使用的...
阿里云E-MapReduce(简称EMR)Serverless Spark提供了全局的Spark默认配置，以支持多样化的任务执行和管理需求。该配置包含了运行特定任务所需的全部配置信息，确保在任务...
本文介绍了Spark如何开启Ranger权限控制，以及Ranger Spark权限配置说明。前提条件已创建DataLake集群，并选择了Ranger服务，创建集群详情请参见创建集群。注意事项Spark...
本文为您介绍使用Spark访问OSS时需要的相关配置。OSS Endpoint配置调试时请使用OSS服务所在地域的外网Endpoint，提交集群需替换为VPC内网Endpoint。详情请参见访问...
当云原生数据仓库AnalyticDB MySQL版Spark应用需要访问自建数据库、其他云厂商数据服务等公网环境时，您可以参考本文进行配置。背景信息公网NAT网关可以提供公网地址...
更改用户Spark的日志配置。接口说明地域的公网接入地址：adb.region-id.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的VPC接入地址：adb-vpc.region-id.aliyuncs....
本文介绍如何配置AnalyticDB MySQL Spark节点。背景信息使用常规的Spark开发编辑器或命令行等工具进行AnalyticDB MySQL Spark作业开发时，仅可单次调度Spark作业，且作业间...
{"spark.hadoop.fs.oss.impl":"org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem"}configs参数配置：参数说明示例值spark.hadoop.fs.oss.endpoint作业文件所在OSS的Endpoint。...
本文为您介绍如何将MapReduce和Spark作业日志配置到JindoFS或OSS上。背景信息E-MapReduce集群支持按量计费以及包年包月的付费方式，满足不同用户的使用需求。对于按量...
本文为您介绍Spark-1.x依赖的配置以及Spark-1.x相关示例。配置Spark-1.x的依赖通过MaxCompute提供的Spark客户端提交应用，需要在pom.xml文件中添加以下依赖。properties...
本文为您介绍Spark-2.x依赖的配置以及Spark-2.x示例说明。配置Spark-2.x的依赖通过MaxCompute提供的Spark客户端提交应用时，需要在pom.xml文件中添加以下依赖。pom.xml...
1,"spark.executor.resourceSpec":"medium"}}说明如果您在conf中没有填写spark.dla.roleArn配置信息时，系统会默认使用AliyunDLASparkProcessingDataRole，您也可以自定义roleArn。...
本文为您介绍如何通过阿里云ARMS服务收集并查看Spark作业的监控指标，以及如何基于监控指标设置报警。前提条件已在E-MapReduce on ACK控制台创建Spark集群，详情请参见...
添加Spark SQL数据源用于连通Spark SQL数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网或阿里云VPC的方式连接Spark SQL...
示例如下：{"name":"SparkPi","file":"oss:/sparkRoleTest/original-spark-examples_2.11-2.4.5.jar","className":"org.apache.spark.examples.SparkPi","args":["10"],"conf":{"spark.dla.roleArn":"acs...
{SPARK_HOME}/bin/spark-submit\-master$RUNTIME_SPARK_MASTER\-deploy-mode client\-name spark-simplequery-tdx\-conf spark.driver.memory=4 g\-conf spark.executor.cores=4\-conf spark....
AnalyticDB for MySQL企业版及湖仓版推出Spark应用诊断功能，若您提交的Spark应用存在性能问题，您可以根据诊断信息快速定位和分析性能瓶颈问题，优化Spark应用，提高...
0运维：用户只需通过产品接口管理Spark作业即可，无需关心服务器配置以及Hadoop集群配置，无需扩缩容等运维操作。作业级细粒度的弹性能力：Serverless Spark按照Driver和...
0运维用户只需通过AnalyticDB for MySQL Serverless Spark接口管理Spark作业，无需关心服务器配置以及Hadoop集群配置，无需处理扩缩容等运维操作。作业级弹性Serverless Spark...
EMR-3.36.1 Spark 2.4.7优化E-MapReduce控制台上，Spark服务配置页面的spark-defaults页签的配置项名称。优化输出日志性能。支持ZSTD（Zstandard）压缩格式。EMR-3.35.0 Spark 2.4.7...
配置SPARK客户端FE底层通过执行spark-submit命令去提交Spark任务，因此需要为FE配置Spark客户端，建议使用2.4.5或以上的Spark 2官方版本，您可以通过Spark下载地址进行...
本文介绍如何通过在CDP集群中部署...spark-submit任务时除了可以在core-site.xml配置，还可以直接在conf中配置spark-submit-conf spark.hadoop.fs.AbstractFileSystem.oss.impl=...
解决方法：Spark作业中广播表的最大内存为8 GB，您可以在提交Spark作业时使用spark.sql.autoBroadcastJoinThreshold参数配置广播表的内存。单位MB。Spark会使用抽样方法...
配置历史服务器历史服务器用于审计Spark作业，您可以通过在Spark Applicaiton的CRD中增加SparkConf字段的方式，将event写入到OSS，再通过历史服务器读取OSS的方式进行...
配置历史服务器历史服务器用于审计Spark作业，您可以通过在Spark Applicaiton的CRD中增加SparkConf字段的方式，将event写入到OSS，再通过历史服务器读取OSS的方式进行...
解决方法：您需在提交的Spark应用中设置spark.adb.eni.enabled、spark.adb.eni.vswitchId、spark.adb.eni.securityGroupId参数，不同数据源数参数的配置方法不同。详情请参见Spark...
操作步骤安装Spark-Submit命令行工具并配置相关参数。安装操作与参数说明，请参见安装Spark-Submit和参数配置。说明您只需要配置keyId、secretId、regionId、clusterId和...
资源编排服务ROS（Resource Orchestration Service）支持通过创建资源栈的方式安装Spark单机版。背景信息Apache Spark是专为大规模数据处理设计的通用计算引擎。Spark将Scala...
资源编排服务ROS（Resource Orchestration Service）支持通过创建资源栈的方式安装Spark集群版。背景信息Apache Spark是专为大规模数据处理设计的通用计算引擎。Spark将Scala...
说明配置spark on yarn模式时，不需要将Spark配置文件夹分发到集群的所有节点，只需要在集群其中一台提交任务的节点上配置即可。验证Apache Spark使用Spark读取...
如果您的Spark JAR包在本地，还需要配置ossUploadPath等OSS相关参数。创建项目。访问DolphinScheduler Web界面，在顶部导航栏单击项目管理。单击创建项目。在弹出的创建项目...
在Spark节点配置里新增如下2个参数。spark.hadoop.odps.cupid.pvtz.rolearn=acs:ram:xxxxxxxxxxx:role/aliyunodpsdefaultrole spark.hadoop.odps.cupid.vpc.usepvtz=true spark.hadoop.odps....
SparkSQL：SQL类型的Spark配置，通过set命令配置作业，详情请就参见Spark SQL。完成上述参数配置后，单击确定创建Spark作业。创建Spark作业后，您可以根据作业配置指南编写...
您也可以通过增加Spark Conf来配置Pod Annotation，从而实现ECI调度。Annotation取值与方式二：配置Pod Annotation相同。进入spark-defaults.conf页签。登录EMR on ACK。在EMR on...
Spark配置填写Spark配置信息，默认以空格符分隔，例如，spark.sql.catalog.paimon.metastore dlf。获取Endpoint信息。在Spark Thrift Server页签，单击新增的Spark Thrift Server的...
进入spark执行环境cd/usr/lib/spark-current-提交任务./bin/spark-submit\-master local\-jars${project.dir}/spark-datasource-v 3.1/target/spark-datasource-1.0-SNAPSHOT-jar-with-...
本文通过以下方面为您介绍Spark：Scala（%spark）PySpark（%spark.pyspark）SparkR（%spark.r）SQL（%spark.sql）配置Spark第三方依赖内置教程Scala（%spark）以%spark开头的就是Scala...
EMR Serverless Spark为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过Apache Airflow实现自动化地向EMR Serverless Spark提交任务，以实现作业...