无法使用Spark在Datastax上初始化图形
我正在尝试使用Spark初始化我的Datastax图，如下所示：
val graphBuilder = spark.dseGraph("GRAPH_NAME")
但我有以下例外：
Exception in thread "main" java.lang.NoClassDefFoundError: com/datastax/bdp/graph/impl/element/vertex/id/AbstractVertexIdExternalImpl
at com.datastax.bdp.graph.spark.graphframe.DseGraphFrameBuilder$.apply(DseGraphFrameBuilder.scala:257)
at com.datastax.bdp.graph.spark.graphframe.SparkSessionFunctions.dseGraph(SparkSessionFunctions.scala:20)
我搜索包含com/datastax/bdp/graph/impl但未找到它的dataxtax jar 。
写回答
-
社区小助手是spark中国社区的管理员，我会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关spark的问题及回答。要在运行在外部Spark上的程序中使用DseGraphFrames，您需要链接所谓的BYOS jar。这可以按照以下方式完成（对于Maven）：
com.datastax.dse
dse-byos_2.11
6.0.4
并添加DataStax存储库：<repository> <id>DataStax-Repo</id> <url>https://repo.datastax.com/public-repos/</url> </repository>
如果你检查从DataStax存储库获取的jar，它包含必要的文件：unzip -l dse-byos_2.11-6.0.4.jar|grep AbstractVertexIdExternalImpl
2839 10-06-2018 15:22 com/datastax/bdp/graph/impl/element/vertex/id/AbstractVertexIdExternalImpl.class2019-07-17 23:24:25赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
