如何在运行pyspark时加载本地jar包?

steven日成 2019-03-14

MongoDB 互联网 测试 Maven spark test input PySpark 云数据库MongoDB版

某内网项目需要测试spark和mongodb联调,因为不能连接外网,所以下载好了相应的jar包扔进去了。
5

官网给出的事例代码如下:

./bin/pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" \
              --conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection" \
              --packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.0

其中--packages参数后面指定的jar包会自动从maven包中心下载,对于无法连接互联网的机器,会提示错误。

其实,答案很简单,只需要在后面跟上--jars参数就好:

./pyspark --conf "spark.mongodb.input.uri=..." 
          --conf "spark.mongodb.output.uri=..." 
          --jars "/path/to/local/xxx.jar"

后面的路径建议使用绝对路径,以防手误。

登录 后评论
下一篇
我是小助手
32527人浏览
2019-07-31
相关推荐
Spark入门(Python版)
1764人浏览
2017-12-04 22:10:00
MaxCompute Spark开发指南
2272人浏览
2019-03-04 02:55:17
Spark本地模式运行
5356人浏览
2016-04-08 13:14:44
浅谈PyODPS
3039人浏览
2017-12-18 13:26:33
Maven就是这么简单
590人浏览
2018-03-07 16:39:00
Android中的动态加载机制
640人浏览
2018-02-07 23:48:00
Spark之导出PMML文件(Python)
892人浏览
2017-12-04 12:56:47
0
0
0
6953