存储

#存储#

已有8人关注此标签

内容分类

王知无

面试系列:十个海量数据处理方法大总结

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 本文将简单总结下一些处理海量数据问题的常见方法。

王知无

Spark中几种ShuffleWriter的区别你都知道吗?

一.前言 在Spark中有三种shuffle写,分别是BypassMergeSortShuffleWriter、UnsafeShuffleWriter、SortShuffleWriter。分别对应三种不同的shuffleHandle。

王知无

Flink在大规模状态数据集下的checkpoint调优

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 今天接到一个同学的反馈问题,大概是: Flink程序运行一段时间就会报这个错误,定位好多天都没有定位到。

王知无

使用Flink实现索引数据到Elasticsearch

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 使用Flink处理数据时,可以基于Flink提供的批式处理(Batch Processing)和流式处理(Streaming Processing)API来实现,分别能够满足不同场景下应用数据的处理。

黄小斜

深入理解JVM虚拟机4:Java class介绍与解析实践

用java解析class文件 转自https://juejin.im/post/589834a20ce4630056097a56 前言 身为一个java程序员,怎么能不了解JVM呢,倘若想学习JVM,那就又必须要了解Class文件,Class之于虚拟机,就如鱼之于水,虚拟机因为Class而有了生命。

优惠码大使

mysql innodb 的 row size上限

mysql innodb 的 row size上限背景在项目使用中,出现了以下报错: Error Code: 1118 - Row size too large (> 8126).Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAMIC or ROW_FORMAT=COMPRESSED may help.

幸运码发放

java中的各种锁详细介绍

java中的各种锁详细介绍转自:https://blog.csdn.net/axiaoboge/article/details/84335452 Java提供了种类丰富的锁,每种锁因其特性的不同,在适当的场景下能够展现出非常高的效率。

桥志

如何在Linux上挂载OSS Bucket

阿里云OSS存储是由阿里云提供的高可用,大容量的对象存储系统,用户使用OSS来存储图片,视频,日志和其它的静态的数据文件。而很多用OSS存放文件的用户都希望能够在ECS或者线下的环境中直接挂载访问OSS中的数据。

xiaoli_test

利用云存储网关实现数据分层存储

本文介绍了云存储网关结合OSS Bucket的生命周期功能的数据分层存储方案。云存储网关以OSS Bucket为后端存储空间,通过本地存储空间缓存了热点数据,保证了前端应用的本地访问性能,同时又可以利用云上海量的存储空间。

ap5980n2w

Composer 基本使用

基本用法 引言 介绍基本用法,我们将安装 monolog/monolog 日志库作为范例。如果你还没有安装 Composer,请参阅 Composer 安装 章节。 注意:为简便起见,我们假定你已经 本地 安装了 Composer。

zhaiwx_yinfeng

MySQL8.0.17 - Multi-Valued Indexes 简述

本文主要简单介绍下8.0.17新引入的功能multi-valued index, 顾名思义,索引上对于同一个Primary key, 可以建立多个二级索引项,实际上已经对array类型的基础功能做了支持 (感觉官方未来一定会推出类似pg的array 列类型), 并基于array来构建二级索引,这意味着该二级索引的记录数可以是多于聚集索引记录数的,因而该索引不可以用于通常意义的查询,只能通过特定的接口函数来使用,下面的例子里会说明。

游客x2poetmdyt47y

企业可以不要大数据,但必须要有“数据中台”

企业可以不要大数据,但必须要有“数据中台”139w.com 鼎点网络 2015年,马云拜访名为Supercell的芬兰游戏公司,虽然这家公司仅有180人,但是他们开发新游戏的速度特别快,公司旗下游戏DAU已经突破1亿。

选型宝

选型宝访谈:当超融合一体机,具备云计算的基因,将会怎样?

当超融合一体机,具备云计算的基因,将会带来哪些改变? 超融合视角即用云的基因,让新一代超融合 更健壮、性能更快、部署与运维更简单。云计算视角微服务的架构,让升级做到 “平滑无感知“,让产品升级由以年为单位的迭代,变成以月、周为单位的”持续进化“,让竞争力持续提升。

数懒

菜鸟的Hadoop快速入门

一、相关概念 1、大数据 大数据是一门概念,也是一门技术,是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。 大数据包括了以Hadoop和Spark为代表的基础大数据框架,还包括实时数据处理,离线数据处理,数据分析,数据挖掘和用机器算法进行预测分析等技术。

流体石头

Docker入门-Dockerfile的使用

使用Dockerfile定制镜像 镜像的定制实际上就是定制每一层所添加的配置、文件。我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本,这个脚本就是Dockerfile。 Dockerfile是一个文本文件,其内包含了一条条的指令,每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。

云攻略小攻

阿里云正式发布小程序Serverless 为用户提供一套代码多端使用

8月14日,阿里云宣布正式推出小程序Serverless,阿里云小程序Serverless提供包括云函数、数据存储、文件存储等一整套后端服务开发套件,以及集成了经济体业务能力API的业务套件。开发者通过API方式即可获取云函数、数据存储、文件存储等IaaS层技术能力,不需要关心服务器或底层运维设施,可以更专注于代码和业务本身。

云攻略小攻

阿里云文件存储极速型NAS正式上线商用,打造百微秒级稳定时延的共享文件存储

阿里云文件存储极速型NAS正式上线商业化,针对共享文件存储在海量小文件场景下的性能短板进行了深度优化,大幅度降低了小文件读写的IO响应时延,提升性能。

选型宝

选型宝访谈:超融合, 能否承载联想的转型梦想?

写在前面 IT大势,合久必分,分久必合。在虚拟化技术出现10年之后,计算与存储分立的传统架构正逐步被另一种更简约、更高效、更可靠的IT架构所替代,这种云时代的新兴架构就是超融合。 权威机构的调研数据显示,2016年,超融合的销售额同比增长了116%,到2019年,超融合的全球市场规模将超过1000亿美元。