分布式系统与计算

#分布式系统与计算#

已有99人关注此标签

内容分类

开源大数据EMR

集群续费问题

续费了但是还是会通知说没有续费

开源大数据EMR

高安全集群

高安全集群指什么

开源大数据EMR

错误提示:The request processing has failed due to some unknown error, exception or failure.

错误提示:The request processing has failed due to some unknown error, exception or failure.

开源大数据EMR

Spark SQL抛出“Exception in thread “main” java.sql.SQLException: No suitable driver found for jdbc:mysql:xxx”报错

Spark SQL抛出“Exception in thread “main” java.sql.SQLException: No suitable driver found for jdbc:mysql:xxx”报错

开源大数据EMR

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

开源大数据EMR

如何在 MR 作业中使用本地共享库

如何在 MR 作业中使用本地共享库

中间件小哥

EDAS Serverless 怎么组合购买比较便宜?

EDAS Serverless 怎么组合购买比较便宜?

3627

轻量应用服务器是不是不适合部署分布式的框架?例如MXNet

如题,我租了两台轻量应用服务器,搭建单机的MXNet都正常,但当部署分布式的时候,ssh能免密码互联却还是有问题,怀疑是内网不能互联的问题,因为感觉ifconfig只显示了内网网卡,而ssh并不能通过别的服务器的内网ip连接.搜了下内网互联要设置安全组,而轻量应用服务器这边并不能设置这个,如果可以设置只是我没有发现的话请告知一下.如果不能设置的话那ECS能否满足分布式需求?还有一个疑问就是我在ECS那边创了一个安全组,里面说要申请资源组,但我并没有发现有用于学习等场景选择,但我搭建框架是学习使用以及调参的,这种应该怎么选择呢?希望有人看到能回答一下,非常感谢🙏

缘分壹道桥

eclipse远程连接hadoop2.7.7无法实现

本地wind7的eclipse连接云服上的hadoop2.7.7,看了网上很多hadoop2x-eclipse-plugin插件连接的方法,根据网上说的,我下载了hadoop2.7.7的源码(src),tar(只是解压没有配置)还有我运行在服务器上的hadoop2.7.7集群都放到了本地,hadoop的环境变量配置好了,测试没有问题,ant也没有问题,然后编译插件的时候总是说MapReduce文件夹不存在,我看了build.xml的76行不知道怎么改,哪位大神好心教一下,弄了几天很头痛啊

asja

数据库性能问题

现在有一个总账户,每天10万笔订单交易,交易接入支付宝,需要时时根据支付宝的回调来结算,中间还会有提现操作,总账户需要时时算,请问这个系统应该怎么设计

krystal.xu

Flink 如何支持动态sql ?

flnk 新手一枚。。我理解flink stream = 动态table, 但是sql里的 where语句条件能否使用stream/source的值。 example: DataStream<String> input = env.socketTextStream("localhost", 9000, "\n"); DataStream clickStream = input.flatMap(new ClickHbaseMapFunc()); tEnv.registerDataStream("clickTable", clickStream, "id, studentid, url, itemtype, quantity"); Table result = tEnv.sqlQuery("SELECT * FROM clickTable WHERE studentid = '"+ ????+"'" ); 当中的 where语句条件 如何 能 从 input stream中 获取 ?

meisme

斗宗

History Based Optimization(HBO)可以精细到什么粒度?

读到《阿里巴巴大数据实践之路》这本书的HBO相关内容的时候,书中说的都是基于Task级别的优化,这里的Task我理解为是类似于MR作业的一个大的Map task(下面有很多子map task),但是MR任务在执行的时候是以job为粒度执行的,所以我可以理解成HBO是对Job级别的优化么?而一个query可以分为很多个job,不同的job有不同的优化策略。

晓生寒

[@倚贤][¥20]分布式服务框架有哪些?

想问一下目前主流的分布式服务框架有哪些,并且它们之间的优缺点以及各自的使用场景是什么?与微服务的关系又是什么?

狂小白

[@小川游鱼][¥20]如何实现云计算项目目标利润的问题

如何实现云计算项目目标利润的问题

hbase小助手

hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢? 这种情况该如何优化?

大家帮忙看下 hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢了 这种情况该如何优化或解决?我的设置参数如下:hbase.hregion.memstore.flush.size=256M每台redionserver上有region数量2000+个每台regionserver的HBASE_HEAPSIZE设置为24G每个RS上memstore3G每次flush的时候 memstore才10m以内 增加的filesize才几百kb。

hbase小助手

hbase在高并发的情况下,如果同时修改一个cell的数据,时间戳版本号都是一样的.数据读取的时候怎么保障数据是正确的

请问,hbase在高并发的情况下,如果同时修改一个cell的数据,时间戳版本号都是一样的.数据读取的时候怎么保障数据是正确的

blackhu

[@墨玖tao][¥20]有关rpc和http协议傻傻分不清

http和rpc是并列关系,还是所属关系这点一直搞不太懂,主要是针对现在的分布式服务框架,服务之间的通信和常用的webservice,restful这类移动通信,以及前后端分离之后的前后端通信(http api)有什么区别呢?

m_daydream

E-MapReduce服务与批量处理服务有什么区别

认真研读了批量计算的介绍,以前也了解过Hadoop , 我的理解是这两款产品都可用来做离线计算,个人觉得Hadoop族技术也可以完成batch功能,但是好几家云厂商对这两种服务区别提供,他们区别在哪里技术难点和应用场景又分别侧重在哪里。 感谢不吝赐教!

aaa125

[@项籍][¥20]compareAndSet与compareAndSwap有什么区别

compareAndSet与compareAndSwap有什么区别? 分别用于什么样的场景?