分布式计算

#分布式计算#

已有1人关注此标签

内容分类

金鑫工程师

大数据开发:剖析Hadoop和Spark的Shuffle过程差异

对于基于MapReduce编程范式的分布式计算来说,本质上而言,就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想,让每个节点只计算部分数据,也就是只处理一个分片,那么要想求得某个key对应的全量数据,那就必须把相同key的数据汇集到同一个Reduce任务节点来处理,那么Mapreduce范式定义了一个叫做Shuffle的过程来实现这个效果。

继盛

Mars——基于张量的统一分布式计算框架

很高兴在这里宣布我们的新项目:Mars,一个基于张量的统一分布式计算框架。我们已经在 Github 开源:https://github.com/mars-project/mars 。 背景 Python Python 是一门相当古老的语言了,如今,在数据科学计算、机器学习、以及深度学习领域,Python 越来越受欢迎。

普阳

阿里巴巴 Aliexpress 数据智能部 诚招 Java资深开发工程师/技术专家

职位名称:Aliexpress-Java资深开发工程师/技术专家 所属部门:阿里集团-AliExpress-数据智能 期望层级:P6及以上学历要求:第一学历必须是本科 其他具体细节 或想问的, 欢迎加 钉钉群 23399869 直接沟通。

刘阳明

刘阳明

完整的大数据知识体系,大数据学习路线图

大数据如何学习,对转行或零基础的伙伴都有很大的帮助

sdydata

基于Hadoop分布式集群搭建政企大数据计算存储服务平台_数道云科技

大数据可以说影响的行业及领域非常广泛,例如:政治、经济、科学、教育、医学、社会研究…………由此也可以证明大数据对于如今的市场来说的重要性以及其发展的趋势。

jusun

【视频分析】智能视频分析技术让安防更加智慧

本文从技术角度,说明智能视频分析技术与“大数据”如何结合及相关公司案例落地情况,尽量将理论结合到实际。

商业新知

如何架构基于虚拟化技术的云计算平台

随着商业的推崇,云计算如何提高系统性能成为了新的研究课题,针对这些问题,本文主要提出了基于虚拟化技术的云计算平台的架构,研究了平台的服务器云,这是平台的核心所在。

商业新知

初识云计算——云计算的演进历程与模式

云计算的产生是需求推动、技术进步、商业模式转变共同促进的结果。需求推动指的是政企客户低成本且高性能的信息化需求;人用户的互联网、移动互联网应用需求强烈,追求更好用户体验。

jusun

【数据库审计】Hadoop架构下的数据库审计

原标题:Hadoop架构下的数据库审计难在哪里 ——大数据渗透到各个行业领域,逐渐成为一种生产要素发挥着重要作用,成为未来竞争的制高点。 在大数据时代下,信息和数据的分析处理都会变得比以前更加繁杂,管理起来也更加麻烦。

晋恒

企业级性能、安全可靠 阿里云发布企业级大数据平台开发者版

作为可以承载EB级的数据存储能力,百PB级的单日计算能力的企业级计算平台,积极的在“智能+”重要战略中,释放技术红利,普惠大数据生态,帮助企业和个人开发者深化大数据、人工智能等研发应用,拓展“智能+”为更多开发者提供资源并进行赋能。

孤独键客

Java程序员的成长之路

有点长的深度好文

阿里云柳璃

云计算、大数据、编程语言学习指南下载,100+技术课程免费学!这份诚意满满的新年技术大礼包,你Get了吗?

近年来,新技术发展迅速。互联网行业持续高速增长,平均薪资水平持续提升,互联网技术学习已俨然成为学生、在职人员都感兴趣的“业余项目”。 阿里云大学作为阿里云泛云生态人才培养的平台,精选100余门囊括云计算、大数据、编程语言和物联网(IoT)的行业热点技术课程,打造此套入门学习指南,免费放送给广大技术爱好者。

金鑫工程师

大数据学习路线,一共分为这几个阶段

目前,全球数据呈现爆发增长、海量集聚的特点。国家大力推动实施大数据发展战略,推进数据资源整合和开放共享,加快建设数字中国。大数据行业政策环境良好,发展机遇空前。

sdydata

大数据处理的核心技术有哪些?大数据平台方法

大数据时代,数据来源途径越来越丰富,而且类型也很多花样,存储和数据处理的需求量很大,对于数据展现也非常的高,并且很看重数据处理的高效性和可用性。

鱼跟猫

通过WebUI查看Structured Streaming作业统计信息

从EMR-3.18.1版本开始,EMR将提供Spark Streaming SQL预览版功能。本次作为新特性的一部分,EMR将扩展现有Spark WebUI,支持Structured Streaming Query的统计信息查看。