分布式

#分布式#

已有91人关注此标签

内容分类

ligh-rain

使用Spark Streaming SQL进行PV/UV统计

PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析,例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析,比如分析用户的网页点击行为,此时就需要对UV做统计。

伴弋

息息相关的两大体系:数据中台与业务系统

作者:品鉴数据中台对外输出的表现形式多种多样,最普遍的做法是BI分析,其次是与业务中台形成一套有机的整体,对业务产生真正的价值。数据中台的BI呈现 数据中台是以OneModel统一数据构建及管理方法论,OneID核心商业要素资产化为核心,实现全域链接、标签萃取、立体画像,数据应用服务整体解决方案。

一绿舟

分布式架构知识体系

作者 | 晓土  阿里巴巴高级工程师 姊妹篇阅读推荐:《云原生时代,分布式系统设计必备知识图谱(内含22个知识点)》 导读:本文力求从分布式基础理论、架构设计模式、工程应用、部署运维、业界方案这几大方面,介绍基于 MSA(微服务架构)的分布式知识体系大纲,从而对 SOA 到 MSA 进化有着立体的认识;从概念上和工具应用上更近一步了解微服务分布式的本质,身临其境的感受如何搭建全套微服务架构的过程。

亢海鹏

大数据计算服务MaxCompute知识小卡片(持续更新中)

飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

晋恒

TPCx-BB官宣最新世界纪录,阿里巴巴计算力持续突破

飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。不仅首次将数据规模拓展到100TB,性能达到25641.21QPM,更在TPCx-BB已有最大30TB规模上,将性能提升近一倍,达到6427.86QPM,单位价格下降一半,达到169.76$/QPM。

丁威

源码分析Dubbo前置篇-寻找注册中心、服务提供者、服务消费者功能入口

本节主要阐述如下两个问题: Dubbo自定义标签实现。 dubbo通过Spring加载配置文件后,是如何触发注册中心、服务提供者、服务消费者按照Dubbo的设计执行相关的功能。 所谓的执行相关功能如下: 注册中心启动,监听消息提供者的注册服务、接收消息消费者的服务订阅(服务注册与发现机制)。

罗庆超

【2019 云栖大会】对象存储海量数据管理和应用最佳实践

2019 云栖大会"下一代云存储技术与最佳实践专场",分享“对象存储海量数据管理和应用最佳实践” 议题,重点介绍对象存储 OSS 的架构原理、数据管理、最佳实践。

NebulaGraph

Nebula 架构剖析系列(零)图数据库的整体架构设计

本文为大家介绍 Nebula Graph 的整体架构

阿靖哦

SpringBoot使用分布式锁

SpringBoot使用分布式锁

小周学java

2019java开发面试问答合集(附答案)

10G整数文件中寻找中位数或者第K大数 采用基于字节的桶排序将数字分到不同的桶中,比如找到第k大数,则先找出每个桶中的第k大数,在比较。整形是4byte,有32位,先按高八位建255个桶如果内存只有2g,则每次读取2g的数据遍历放到255个桶中,并统计255个桶的量,2g读取完后将每个桶的数据导出到磁盘,循环读完10g数据。

丁威

RocketMQ 平滑升级到主从切换实战

本文主要介绍如何将 RocketMQ 集群从原先的主从同步升级到主从切换。 首先介绍与 DLedger 多副本即 RocketMQ 主从切换相关的核心配置属性,然后尝试搭建一个主从同步集群,再从原先的 RocketMQ 集群平滑升级到 DLedger 集群的示例,并简单测试一下主从切换功能。

云管家chinaygj

架构师应该更关注产品,还是更关注人?

一群优秀的人做共同热爱的事情,是最美妙的。项目软件管理,不只是对成员进行简单的激励和惩罚,更应该激发出每个成员的潜能,共同在开发过程中,实现对自我的超越。自我驱动是最强大的驱动。

丁威

源码分析 RocketMQ DLedger 多副本即主从切换实现原理

DLedger 基于 raft 协议,故天然支持主从切换,即主节点(Leader)发生故障,会重新触发选主,在集群内再选举出新的主节点。 RocketMQ 中主从同步,从节点不仅会从主节点同步数据,也会同步元数据,包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信息。