集群

#集群#

已有11人关注此标签

内容分类

孙goku

在flink集群模式下,能不能指定某个节点的solt来执行一个task?

因为我需要将flink处理结果输出到本地文件,在集群模式下,能否指定某一个固定节点来执行输出文件的task呢?writeAsFormattedText(localPath).setParallelism(1);

游客886

请教下,采用docker部署postgresql主备集群,这个可行吗?

请教下,采用docker部署postgresql主备集群,这个可行吗?

homolo

mongo集群经过ip映射后的连接问题

现在有3台内网服务器启3节点mongo集群,主节点: 10.222.0.1:27017,从节点1:10.222.0.2:27017,从节点2: 10.222.0.3:27017集群搭建没有问题,节点初始化使用rs.initiate({_id: “mongodata”, members: [{ _id: 1, host:"10.222.0.1:27017", priority: 100}, { _id: 2, host:"10.222.0.2:27017"}, { _id: 3, host:"10.222.0.3:27017"}]}); 现在需要外网应用使用该集群,通过防火墙给3条内网ip分别映射ip地址:114.114.114.111:27017, 114.114.114.112:27017,114.114.114.113:27017 然后使用外网方式 mongoshell连接: mongo –host 114.114.114.111:27017, 114.114.114.112:27017,114.114.114.113:27017 没有问题,可是我把host 114.114.114.111:27017, 114.114.114.112:27017,114.114.114.113:27017 配置到应用的数据库驱动(tomcat数据源)里,就会出现问题:timeout 10.222.0.1:27017,10.222.0.2:27017, 10.222.0.3:27017 ,奇怪为什么应用去连接映射出来的地址为什么会解析到要用到这三个内网地址,肯定是无法连接的

李博 bluemind

Redis过期KEY,如何做集群监听?

本问题来自云栖社区【Redis&MongoDB 社区大群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

八戒八戒2333

flink用IDEA本地运行可以读取HDFS数据,然后把项目打包提交到flink集群,无法读取HDFS数据,出现以下错误,这是为何?

The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: Job failed. (JobID: 74a2d820909fee963c4dea371b5c236c) at org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.java:268) at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:483) at org.apache.flink.streaming.api.environment.StreamContextEnvironment.execute(StreamContextEnvironment.java:66) at org.apache.flink.streaming.api.scala.StreamExecutionEnvironment.execute(StreamExecutionEnvironment.scala:654) at org.myflink.quickstart.WordCount$.main(WordCount.scala:20) at org.myflink.quickstart.WordCount.main(WordCount.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:529) at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:421) at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:423) at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:813) at org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:287) at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213) at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050) at org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126) at org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30) at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126) Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed. at org.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:146) at org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.java:265) ... 19 more Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded. at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:403) at org.apache.flink.core.fs.FileSystem.get(FileSystem.java:318) at org.apache.flink.streaming.api.functions.source.ContinuousFileMonitoringFunction.run(ContinuousFileMonitoringFunction.java:196) at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:93) at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:57) at org.apache.flink.streaming.runtime.tasks.SourceStreamTask.run(SourceStreamTask.java:97) at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:300) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:711) at java.lang.Thread.run(Thread.java:748) Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies. at org.apache.flink.core.fs.UnsupportedSchemeFactory.create(UnsupportedSchemeFactory.java:64) at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:399) ... 8 more 本地bashrc已经配置了 HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop flink-conf.yaml也已经做了一下配置 env.hadoop.conf.dir=/usr/local/hadoop/etc/hadoop 请问这是什么原因呀?

k8s小能手

请教一下,集群内服务访问集群外的服务一般是直接物理IP访问,还是通过建一个service映射endpoint的方式多一些?

请教一下,集群内服务访问集群外的服务一般是直接物理IP访问,还是通过建一个service映射endpoint的方式多一些?

小六码奴

请教下大家,cassandra 集群中gossip信息交换相关问题 1. 集群发现是通过seeds节点主动去pull呢 还是节点各自固定频率交换信息; 2. 某个节点接受数据时,此时是主动push,还是按固定频率,节点pull获取信息。 这个我没有找到相关官方文档,求教于大家告知下

请教下大家,cassandra 集群中gossip信息交换相关问题 1. 集群发现是通过seeds节点主动去pull呢 还是节点各自固定频率交换信息; 2. 某个节点接受数据时,此时是主动push,还是按固定频率,节点pull获取信息。 这个我没有找到相关官方文档,求教于大家告知下

社区小助手

Spark 【问答合集】

如何使用spark将kafka主题中的writeStream数据写入hdfs?https://yq.aliyun.com/ask/493211当Spark在S3上读取大数据集时,在“停机时间”期间发生了什么?https://yq.aliyun.com/ask/493212从Redshift读入Spark Dataframe(Spark-Redshift模块)https://yq.aliyun.com/ask/493215在初始化spark上下文后,在运行时更改pyspark的hadoop配置中的aws凭据https://yq.aliyun.com/ask/493217Window.rowsBetween - 仅考虑满足特定条件的行(例如,不为null)https://yq.aliyun.com/ask/493220spark的RDD内容直接用saveAsTextFile保存到hdfs时会出现中文乱码现象,但在控制台用foreach打印该RDD数据显示是正常的,该怎么解决呢?https://yq.aliyun.com/ask/494418请问一下如何能查看spark struct streaming内存使用情况呢?https://yq.aliyun.com/ask/494417使用spark 2.3 structed streaming 时 checkpoint 频繁在HDFS写小文件,块数到达百万级别 ,这个怎么优化下?https://yq.aliyun.com/ask/494415请教大家一个问题,spark stream连kafka,在web页面的stream标签,显示好多batch处于queued状态,这些batch是已经把数据从kafka读取进rdd,等待处理,还是还没有从kafka读取数进rdd?https://yq.aliyun.com/ask/493702为什么我使用 dropDuplicates()函数报错Caused by: java.lang.NoSuchMethodError: org.codehaus.commons.compiler.Location.(Ljava/lang/String;II)V ?https://yq.aliyun.com/ask/493700请教一下,我hive中数据大小为16g,通过importtsv生成了hfile 文件,导入到hbase中了,数据变成130多g,还有什么更好的办法吗?https://yq.aliyun.com/ask/493698jdbc 连接spark thrift server 如何获取日志?https://yq.aliyun.com/ask/493582Spark如何从一行中仅提取Json数据?https://yq.aliyun.com/ask/493581pyspark - 在json流数据中找到max和min usign createDataFramehttps://yq.aliyun.com/ask/493234如何计算和获取Spark Dataframe中唯一ID的值总和?https://yq.aliyun.com/ask/493231如何将csv目录加载到hdfs作为parquet?https://yq.aliyun.com/ask/493224无法使用Spark在Datastax上初始化图形https://yq.aliyun.com/ask/493222使用PySpark计算每个窗口的用户数https://yq.aliyun.com/ask/493221sql语句不支持delete操作,如果我想执行delete操作该怎么办?https://yq.aliyun.com/ask/494420spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到classhttps://yq.aliyun.com/ask/494421json字符串中有重名但大小写不同的key,使用play.api.libs.json.Json.parse解析json没有报错,但是spark-sql使用org.openx.data.jsonserde.JsonSerDe时,会自动将key转为小写,然后putOnce函数报错Duplicate keyhttps://yq.aliyun.com/ask/494423spark DataFrame写入HDFS怎么压缩?https://yq.aliyun.com/ask/495552使用Spark On Hive时,动态的将数据插入到Hive中,但是在Hive的数据表下会有很多文件,这个可以怎么设置一下呢?https://yq.aliyun.com/ask/495927 技术交流群 Apache Spark中国技术交流群 (钉钉扫码加入)

阿里云E-MapReduce团队

读取emr高安全集群的hbase数据

想问下各位有遇到过这个问题吗:1、使用本地环境(公网环境) 2、读取emr高安全集群的hbase数据 3、通过hbase的thriftserver 9099端口代理 走keytab认证 报认证失败的错误hbase给出的官方文档只有使用本地 ticket cache认证的样例代码 现在使用keytab认证失败

何不留下昵称和大家交个朋友

Flink 自定义聚合函数 AggregateFunction 不触发

本地sock测试AggregateFunction 生效 但是上了flink集群后(连接的kafka源 ,数据能正常收到) 发现AggregateFunction 的getresult方法不触发,而createAccumulator和add均能触发,

图数据库GDB小助手

阿里云使用主备?为什么不是集群架构?

阿里云使用主备?为什么不是集群架构?

游客886

哪位有成熟的 pg的 多机集群部署方案 ? 最好是自己使用过的

哪位有成熟的 pg的 多机集群部署方案 ? 最好是自己使用过的后续会用到 先把选型定了,在测试环境下搭建 ; 关于pg的多机集群有好多种方案 ; 本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

Ana

阿里云大数据型机器组集群网络不稳定

阿里云大数据型机器组集群网络问题,跑Spark经常出现Connection refuse导致的stage retry。社区有同学遇到过吗?这种怎么定位排查,或者提交阿里云人员处理?

李博 bluemind

RocketMQ 集群消费模式下 是等在一个消费者返回后 在拉取下一个消息吗?

本问题来自云栖社区【阿里Java技术进阶2群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

linux运维平台

linux面板哪家好?

现在都是单机安装linux面板,有没有批量化集群管理的linux面板?推荐一个平台.

游客886

citus主备集群,CN节点做了流复制,在主CN执行创建分片表create_distributed_table,主集群的worker成功创建分片表,但是从集群的分片表没有创建成功。是不是就是说流复制操作只是把元数据复制到了从CN上,并不会执行相关的函数命令呢?

citus主备集群,CN节点做了流复制,在主CN执行创建分片表create_distributed_table,主集群的worker成功创建分片表,但是从集群的分片表没有创建成功。是不是就是说流复制操作只是把元数据复制到了从CN上,并不会执行相关的函数命令呢?本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

真浪

集群。

什么是集群。集群的用途是???

甘小畅

HBase2.0的WAL不会自动清理

WAL文件越来越大,几天时间集群硬盘就爆了

激情小笨笨

是否可以将flink部署在运行在JDK1.7的YARN上?

目前YARN集群全部采用JDK1.7的环境。正在尝试使用FLINK来处理流处理业务场景部署的时候发现FLINK ON YARN模式执行一个session任务总是报错,YARN的AM日志显示Unsupported major. minor version 52.0,尝试采用官网邮件列表中推荐的flink-conf.yaml中添加env.java.home: 和启动脚本添加-yD yarn.taskmanager.env.JAVA_HOME=、-yD containerized.master.env.JAVA_HOME=、-yD containerized.taskmanager.env.JAVA_HOME=以上三个参数。均无法实现YARN中flink session以jdk1.8的环境运行AM任务。FLINK是否可以在一个JDK7环境的yarn中执行相关ON YARN部署?