大数据

#大数据#

已有267人关注此标签

内容分类

王知无

Java中多个ifelse语句的替代设计

今天在改老代码的过程中,亲眼见证了一段30个if-else嵌套的代码... 然后搜集了一些资料做了以下简单整理。 概述 ifelse是任何编程语言的重要组成部分。但是我们编写了大量嵌套的if语句,这使得我们的代码更加复杂和难以维护。

王知无

面试系列:十个海量数据处理方法大总结

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 本文将简单总结下一些处理海量数据问题的常见方法。

王知无

一道真实的面试题 | 如何保证消息队列的高可用

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 面试题:如何保证消息队列的高可用? 面试官心理分析 如果你的简历里写了MQ,如果有人问到你 MQ 的知识,高可用是必问的。

王知无

SparkSQL的3种Join实现

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 引言 Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表冗余、更新容错等。

王知无

你有必要了解一下Flink底层RPC使用的框架和原理

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 前言 对于Flink中各个组件(JobMaster、TaskManager、Dispatcher等),其底层RPC框架基于Akka实现,本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。

王知无

听说你熟悉Flink-On-Yarn的部署模式?

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 前言 Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式,本文分析两种模式及启动流程。

王知无

王知无

Spark中几种ShuffleWriter的区别你都知道吗?

一.前言 在Spark中有三种shuffle写,分别是BypassMergeSortShuffleWriter、UnsafeShuffleWriter、SortShuffleWriter。分别对应三种不同的shuffleHandle。

王知无

Flink在大规模状态数据集下的checkpoint调优

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 今天接到一个同学的反馈问题,大概是: Flink程序运行一段时间就会报这个错误,定位好多天都没有定位到。

王知无

使用Flink实现索引数据到Elasticsearch

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 使用Flink处理数据时,可以基于Flink提供的批式处理(Batch Processing)和流式处理(Streaming Processing)API来实现,分别能够满足不同场景下应用数据的处理。

王知无

Apache Flink:Keyed Window与Non-Keyed Window

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? Apache Flink中,Window操作在流式数据处理中是非常核心的一种抽象,它把一个无限流数据集分割成一个个有界的Window(或称为Bucket),然后就可以非常方便地定义作用于Window之上的各种计算操作。

王知无

Flink Exactly-Once 投递实现浅析

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 随着近来越来越多的业务迁移到 Flink 上,对 Flink 作业的准确性要求也随之进一步提高,其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。

王知无

Flink 网络传输优化技术

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 作为工业级的流计算框架,Flink 被设计为可以每天处理 TB 甚至 PB 级别的数据,所以如何高吞吐低延迟并且可靠地在算子间传输数据是一个非常重要的课题。

stefanie燕

阿里云优惠券领取 购买云服务器ECS最新有优惠

在为数不多的国内云服务品牌当中,阿里云素来就有基建狂魔的美誉! 它直接面向数量众多的中小微企业并为其赋能,同时发力于商业、物联领域内的基础设施,致力于通过先进的云技术来实施惠及全球的使命!“目前,阿里云在新金融、新零售以及新数据等战略节点上极具优势,无疑正在布局云服务未来应用前景!”阿里云服务器教程网负责人表示说。

EMR

使用spark-redis组件访问云数据库Redis

本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成,Redis使用阿里云数据库Redis。

数懒

史上最强攻略!手把手教你建「数据中台」!

文章转自「首席数字官」 ID:ChiefDigitalOfficer 作者:李国欢 4 月 24 日晚,由数澜科技联合锦囊专家共同打造的《数据中台硬核汇》系列线上微课第一讲火热开启。1000 位 CXO 同时收听,群友累计提问 30+,问嗨全场!本文为本次微课分享内容整理,错过 24 日晚微课的同学不要慌,干货文章已备好,快来尝鲜吧! 「DT时代真的来了!今天,我国整个行业的模式已经发生了变化,从互联网+、智能到智慧,再到大数据和人工智能等技术在各应用场景中的作用发挥等等,这一切的发生均为企业发展注入了全新的活力。

ApsaraDB Cassandra

Apache Cassandra 从入门到精通

为了营造一个开放的 Cassandra 技术交流环境,和国内对 Cassandra 感兴趣的开发者进行交流,我们准备在近期写一个 Apache Cassandra 从入门到精通的系列文章,具体文章目录如下(如果大家有补充的可以在下面留言),可以点进去的说明是写完的。

数懒

「数据治理那点事」系列之二:手握数据「户口本」,数据治理肯定稳!

这篇文章主要从数据治理的基础和核心之一:元数据入手,从以下几个角度展开具体讲解: 元数据概念 元数据的分布和采集 元数据的一些实际应用场景 一、元数据到底是个啥? 如果我说:元数据(Meta Data),就是描述数据的数据。