自定义插件模板下载链接 教程1：Reader插件开发 教程2：Converter插件开发 规范：LHM调度迁移标准包数据结构 2 将插件放入LHM调度迁移工具 将自定义插件编译生成JAR包，放置于LHM调度迁移工具lib/common目录下。3 调用自定义插件 在命令中...
操作完成后，数据库审计系统会根据您的配置自动生成JAR包。单击应用身份识别配置 操作 列的 下载，下载生成的JAR包。操作完成后，应用身份识别的JAR包会被保存在您浏览器的默认下载路径下。单击 下载说明文档 并选择您需要的中间件类型，...
修改JAR包配置参数并生成JAR包，相关操作请参见 绑定SSL到JAR包部署的应用。在Dockerfile的 start.sh 中修改 server.port=8443。打包镜像并进行部署。为EDAS应用绑定SLB 为部署在ECS集群中的应用绑定一个公网SLB，并配置监听协议为HTTPS。...
使用Hive UDF 使用文件传输工具，上传生成的JAR包至集群任意目录（本文以test目录为例）。上传JAR包至HDFS或OSS（本文以HDFS为例）。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，上传JAR包到HDFS。hadoop fs-put/test/...
使用UDF 使用文件传输工具，将生成的JAR包上传到集群root目录。本示例使用了文件传输工具（SSH Secure File Transfer Client）。上传JAR包至HDFS。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，将JAR包上传到HDFS。hadoop fs-...
在Eclipse环境中，右键单击源代码目录（图中的 src 目录），Export Java JAR file 生成Jar包，选择目标Jar包的保存路径，例如 D:\\odps\\clt\\odps-graph-example-sssp.jar。使用MaxCompute客户端运行SSSP，详情请参见 运行Graph。本地调试...
热修复 Bug 演示 热修复 Bug 的示例流程如下：备份 Bug 版本构建生成的.jar 包 修改 Bug 代码，生成热修复包 在控制台添加并发布热修复包 客户端调用触发热修复的接口，进而获取热修复包 应用重启后，触发热修复，Bug 被修复 备份 Bug 版本...
add jar/Users/gary/big_data/odps/text_extractor/target/text_extractor-1.0-SNAPSHOT.jar/Users/gary/big_data/odps/text_extractor/target/text_extractor-1.0-SNAPSHOT.jar 为生成JAR包的本地保存路径。通过MaxCompute客户端上传Joda-...
Spark Jar模式读写OSS-HDFS数据源 编写访问OSS-HDFS的示例程序（即Spark作业依赖的JAR包），进行编译打包后生成的JAR包名称为 oss_hdfs_demo.jar。示例代码如下：package ...
本文生成的Jar包名称为 spark-mongodb.jar。示例代码如下：package com.aliyun.spark import org.apache.spark.sql.SparkSession object SparkOnMongoDB { def main(args:Array[String]):Unit={/访问MongoDB的专有网络地址，可在MongoDB...
├─Dockerfile#新建的Dockerfile文件├─target│├─my-app.jar#打包项目时生成的JAR包├─src#构建镜像仅与Dockerfile和jar包有关，与源码和其他配置文件无关。pom.xml 则Dockerfile内容如下：#指定基础镜像，以openjdk 8为例 FROM ...
将生成的JAR包存储在JAR资源的存放目录 emr/jars 下。单击 点击上传 按钮，上传JAR资源。选择 存储路径、数据源 及 资源组。单击 保存 按钮进行保存。引用EMR JAR资源。打开创建的 EMR Spark Streaming 节点，停留在代码编辑页面。在左侧...
本文生成的Jar包名称为 spark-tablestore.jar。示例代码如下：package ...
将 准备初始数据及JAR资源包 中生成的JAR包存储在JAR资源的存放目录 emr/jars 下。单击 点击上传 按钮，上传JAR资源。选择 存储路径、数据源 及 资源组。单击 保存 按钮进行保存。引用EMR JAR资源。打开创建的 EMR Shell 节点，停留在代码...
本示例生成的JAR包为 emr-hiveserver2-1.0.jar，需将该JAR包上传至E-MapReduce集群的Master节点。测试JAR包是否可以正常运行。重要 运行JAR包的服务器与E-MapReduce集群需要在同一个VPC和安全组下，并且网络可达。如果两者的VPC不同或网络...
将上述代码进行打包，生成以 jar-with-dependencies.jar 为后缀的JAR包。租户A环境：配置Shell节点 在租户A所属的工作空间中新建配置Shell节点，用于发送触发命令。进入数据开发。进入 DataWorks工作空间列表页，在顶部切换至目标地域，...
本文生成的Jar包名称为 redis_test.jar。示例代码如下：package com.aliyun.spark import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession import org.apache.spark.sql.types._ object SparkOnRedis { def main...
本文生成的Jar包名称为 rds_test.jar。示例代码如下：package com.aliyun.spark import org.apache.spark.sql.SparkSession object SparkRDS { def main(args:Array[String]):Unit={ val sparkSession=SparkSession.builder().appName("rds...
本文生成的JAR包名称为 spark-example.jar。package ...
示例将本文《准备初始数据及JAR资源包》中生成的JAR包存储在JAR资源的存放目录 emr/jars 下。首次使用需要选择 一键授权，然后单击 点击上传 按钮，上传JAR资源。引用EMR JAR资源。打开创建的 EMR Shell 节点，停留在代码编辑页面。在 EMR ...
使用 instantRun 生成 patch.jar 产物 patch.jar 是生成热修复补丁包的关键，包含了需要修复的内容，在最新修复的工程输出即可，在终端按如下命令行执行生成：./gradlew clean mpGeneratePatch 生成的产物在工程的./build/outputs/...
编写如下示例程序，并进行编译打包，本文生成的JAR包名称为 spark-example.jar。package org.example import org.apache.spark.sql.{SaveMode,SparkSession} object SparkEs { def main(args:Array[String]):Unit={ val spark=SparkSession...
本文生成的 JAR 包名称为 hive_test.jar，生成后的JAR包需上传至OSS中。具体操作，请参见 简单上传。示例代码如下：package com.aliyun.spark import org.apache.spark.sql.SparkSession object SparkHive { def main(args:Array[String]):...
genkeypairs.jar 用于生成产线公私钥对的工具。步骤三：生成产线公私钥 在安装有Java环境的PC机上运行公私钥对生成程序，并获取keypairs.txt文件中的公私钥对。java-jar genkeypairs.jar keypairs.txt 公私钥对信息如下图所示。注意 请务必...
SPARK_HOME/jars/hive-common-x.x.x.jar$SPARK_HOME/jars/hive-exec-x.x.x-core.jar 在IDEA的 File Project Structure Modules 页面，导入刚刚下载的JAR包。创建测试用例 SparkDLF.scala。import org.apache.spark.sql.SparkSession object...
使用MapReduce读取OSS文件并生成JAR包 打开已创建的IDEA项目，添加pom依赖。dependency groupId org.apache.hadoop/groupId artifactId hadoop-mapreduce-client-common/artifactId version 2.8.5/version!因为EMR-MR用的是2.8.5-/...
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。详情请参见 安装...
使用MapReduce读取OSS文件并生成JAR包 打开已创建的IDEA项目，添加pom依赖。dependency groupId org.apache.hadoop/groupId artifactId hadoop-mapreduce-client-common/artifactId version 2.8.5/version!因为EMR-MR用的是2.8.5-/...
resource_reference{"proxima-ce-aliyun-1.0.2.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.2.jar-...
resource_reference{"proxima-ce-aliyun-1.0.2.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.2.jar-...
默认导出，文件数等于表的分片数：java-jar batch-tool.jar-P 3306-h 127.0.XX.XX-u user_*-p 12*-D tpch-o export-t customer-s,导出为三个文件：java-jar batch-tool.jar-P 3306-h 127.0.XX.XX-u user_*-p 12*-D tpch-o export-t ...
本文介绍 Ark Plugin 的标准规范和目录结构，以及如何使用 sofa...JAR 包，一般包含插件需要和其他插件或者业务有隔离需求的 JAR 包，插件配置的导出类都包含在这些 JAR 包中。com/alipay/sofa/ark/sample/*：Ark Plugin 模块中包含的类文件。
resource_reference{"proxima_ce_jar"}-引用上传的proxima-ce jar包，在“数据开发”页面，右键单击已上传的JAR包，并选择“引用资源”即可生成该行注释 jar-resources proxima_ce_jar-上传的proxima-ce jar包-classpath proxima_ce_jar ...
说明 使用此方法创建模板的同时IntelliJ IDEA会自动生成一个.ros.config.yml源文件，.ros.config.yml文件是Alibaba ROS Templates模块用于管理模板的源文件，该文件用来记录操作模板的相关信息，例如创建时间，更新时间、模板文件路径等。...
打包部署说明 SOFABoot Web 工程在 Web 模块中配置 构建（build），使用 spring-boot-maven-plugin 作为构建工具并在工程根目录的 target 下生成一个 fat JAR（.jar）包。该 fat JAR 包是一个可部署单元，有本地和云端 2 种部署方式：本地...
DLF提供了元数据导出工具，可以帮您将DLF元数据导出到Hive Metastore元数据中。前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR...
安装方法请参见 在IntelliJ IDEA中安装和配置Cloud Toolkit 在Eclipse中安装和配置Cloud Toolkit 导出配置 本文以IntelliJ IDEA中的Cloud Toolkit为例进行说明。在IntelliJ IDEA顶部菜单栏中选择 Tools Alibaba Cloud Preferences.在 ...
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。创建CDH JAR资源 您可将任务JAR...
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
根据目标环境的版本信息（包括Spark、Scala、Hadoop和HBase的版本），您可以对HBase Spark Connector进行编译，生成以下两个核心JAR包：hbase-spark-1.1.0-SNAPSHOT.jar hbase-spark-protocol-shaded-1.1.0-SNAPSHOT.jar 例如，使用Maven...