EMR支持CRD、spark-submit和控制台终端三种方式提交作业。本文为您介绍如何通过这三种方式提交Spark作业。前提条件已在EMR on ACK控制台创建Spark集群，详情请参见创建...
您可以通过AnalyticDB for MySQL Spark Airflow Operator、Spark-Submit命令行工具来实现Airflow调度Spark任务。本文介绍如何通过Airflow调度AnalyticDB for MySQL Spark作业。注意...
EMR Serverless Spark开启公测，公测期间可免费使用适用客户全网用户新增功能/规格EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless...
本文为您介绍使用Spark过程中的常见问题。问题类别常见问题开发Spark如何自检项目工程？在DataWorks上运行ODPS Spark节点的步骤是什么？Spark on MaxCompute如何在本地...
Spark Thrift Server是Apache Spark提供的一种服务，支持通过JDBC或ODBC连接并执行SQL查询，从而便捷地将Spark环境与现有的商业智能（BI）工具、数据可视化工具及其他...
本文为您介绍Spark如何读取Hologres表数据。Hologres表全量数据Spark读取Hologres表全量数据通过JDBC接口，JDBC的Driver需要使用PostgreSQL驱动，请至官网下载...
若您想查看云原生数据仓库AnalyticDB MySQL版集群Spark作业的运行指标，可以参照本文档的操作步骤，在云监控页面中查看对应监控项信息，以便您及时掌握集群的性能和...
云原生数据仓库AnalyticDB MySQL版Spark离线应用和流应用的开发方法相同。本文介绍如何进行Spark作业开发。开发工具您可以通过如下五种方式进行Spark Batch和Streaming...
本文展示了如何通过调用阿里云EMR Serverless Spark Java SDK来启动Spark任务。前提条件已创建AccessKey，详情请参见创建AccessKey。说明为避免阿里云账号（主账号）泄露...
通过ACK One Fleet实例，您可以使用和单集群相同的方式创建Spark任务。由Fleet实例根据Spark任务需要的资源和关联集群的剩余资源，执行动态调度策略，选择适合的关联...
除控制台方式外，您还能通过API提交Spark任务。阿里云提供了多语言版本的SDK来封装API。本文基于Python语言介绍如何通过API提交Spark任务。前提条件已创建AccessKey，...
使用Spark SIMD（全称Single Instruction Multiple Data，单指令多数据流）JSON，可以比Spark原生JSON解析更快。本文为您介绍如何开启Spark SIMD JSON，以及使用示例。开启Spark SIMD...
介绍EMR Serverless Spark的免费公测说明。免费公测时间说明EMR Serverless Spark免费公测已于2024年04月25日开启，预计于2024年09月13日结束。公测阶段面向所有用户开放，您...
本文汇总了AnalyticDB for MySQL Spark作业常见的错误码、报错信息、报错原因和解决办法。您可以参考本文解决报错。报错概览现象错误码报错信息Spark访问JDBC数据源失败。JDBC...
本文介绍Spark如何访问MySQL。Spark RDD访问MySQL示例代码如下。val input=getSparkContext.textFile(inputPath,numPartitions)input.flatMap(_.split("")).map(x=(x,1)).reduceByKey(_+_)....
本文为您介绍使用Spark访问OSS时需要的相关配置。OSS Endpoint配置调试时请使用OSS服务所在地域的外网Endpoint，提交集群需替换为VPC内网Endpoint。详情请参见访问...
AnalyticDB MySQL版Spark支持在控制台直接提交Spark SQL，无需编写JAR包或者Python代码，便于数据开发人员使用Spark进行数据分析。本文介绍AnalyticDB MySQL版Spark SQL应用的...
本文介绍如何通过Spark程序导入数据至云数据库ClickHouse。前提条件已将本地机器的IP地址添加到云数据库ClickHouse的白名单中。如何添加，请参见设置白名单。已创建与...
日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：...
本文为您介绍如何通过Spark读取或写入数据至Hologres的操作方法。背景信息Spark是用于大规模数据处理的统一分析引擎，Hologres已经与Spark（社区版以及EMR Spark版）高效...
本文介绍如何在E-MapReduce的Hadoop集群运行Spark Streaming作业，处理Kafka集群的数据。背景信息E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用...
本文介绍如何配置Spark类型的作业。前提条件已创建好项目，详情请参见项目管理。操作步骤进入数据开发的项目列表页面。通过阿里云账号登录阿里云E-MapReduce控制台。在顶部...
您可以在DataWorks中，通过Shell节点或自定义节点调度和管理云原生数据仓库AnalyticDB MySQL版的Spark作业。前提条件AnalyticDB for MySQL集群的产品系列为企业版、基础版...
您可以借助Spark-Submit命令行工具，在Azkaban Web界面调度云原生数据仓库AnalyticDB MySQL版的Spark作业。前提条件AnalyticDB for MySQL集群的产品系列为企业版、基础版或湖...
本文汇总使用EMR Serverless Spark过程中涉及的基本概念，方便查询和了解EMR Serverless Spark。概念说明工作空间（Workspace）工作空间是EMR Serverless Spark为业务开发划分的...
在DataWorks中，您可按照工作空间粒度指定各模块使用的SPARK参数，后续各模块将默认使用对应SPARK参数执行任务。您可参考Spark官方文档自定义全局Spark参数，并配置...
EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless产品。它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，...
本文介绍在LindormDFS上搭建及使用Apache Spark的方法。运行环境准备开通LindormDFS，详情请参见开通指南。在计算节点上安装JDK，版本不能低于1.8。在计算节点上安装Scala...
Spark对接OSS提供了高效、灵活的数据处理和分析方式，将大数据处理和云存储相结合。本文介绍Spark如何处理和分析OSS中的数据。背景信息当前E-MapReduce：支持MetaService...
本文介绍如何在Spark中进行MaxCompute数据的读写操作。操作步骤初始化一个OdpsOps对象。在Spark中，MaxCompute的数据操作通过OdpsOps类完成。import...
使用常规的Spark开发编辑器或命令行等工具进行Spark作业开发时，仅支持单次调度Spark作业，且作业间无依赖关系和执行顺序。为解决以上痛点，您可以通过数据管理DMS的...
本文介绍如何在E-MapReduce的Hadoop集群，运行Spark作业消费DataHub数据、统计数据个数并打印出来。Spark Streaming消费DataHub准备工作使用DataHub的订阅功能订阅Topic，...
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景功能特性对于批计算，除了...
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景...
Spark on MaxCompute作业可通过Local模式、Cluster模式执行，此外，您也可在DataWorks中运行Spark on MaxCompute离线作业（Cluster模式），以便与其它类型执行节点集成和调度。...
Spark on MaxCompute作业可通过Local模式、Cluster模式执行，此外，您也可在DataWorks中运行Spark on MaxCompute离线作业（Cluster模式），以便与其它类型执行节点集成和调度。...
本文介绍如何通过Spark Streaming消费消息队列RocketMQ（简称MQ）中的数据并计算每个Batch中的单词。通过Spark访问MQ代码示例如下。val Array(cId,topic,subExpression,...
E-MapReduce支持通过Spark SQL对Paimon进行读写操作。本文通过示例为您介绍如何通过Spark SQL对Paimon进行读写操作。前提条件已创建选择了Spark和Paimon的DataLake或...
DLA Serverless Spark目前支持DataWorks和DMS编排调度任务，同时也提供自定义SDK和Spark-Submit工具包供用户自定义编排调度。本文将介绍如何使用DMS来编排调度Spark任务。...
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点，可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。DataWorks为您提供EMR Spark节点，便于您...