用github上的aliyun-emapreduce-demo, Spark本地应用访问oss遇到的问题:
在源文件的src/main/scala/com/aliyun/emr/example/RunLocally.scala 中
conf.set("spark.hadoop.fs.oss.impl", "com.aliyun.fs.oss.nat.NativeOssFileSystem")
conf.set("spark.hadoop.mapreduce.job.run-local", "true")
编译后执行 spark-submit --class com.aliyun.emr.example.OSSSample target/shaded/examples-1.1-shaded.jar oss://...后
如果不在uri里面给出ak的话,只在代码里用conf.set 设置ak,结果有exeption, 原因是Caused by: java.lang.IllegalArgumentException: AccessKeyId/AccessKeySecret/SecurityToken is not available, you can set them in configuration.
如果用oss://key:secret@buket.endpoint 作为命令输入参数的话,会有报错
WARN NativeOssFileSystem: Disallow set ak information in OSS URI.
Exception in thread "main" java.io.IOException: java.lang.IllegalArgumentException: Disallow set ak information in OSS URI
ak怎么用啊?各位怎么解决呢给点建议吧
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。