数据流

#数据流#

已有0人关注此标签

内容分类

最佳实践小文

EMR弹性低成本离线大数据分析

布式计算框架系统分别为Hadoop、Spark和Storm, Hadoop可以运用在很多商业应用系统,可以轻松集成结构化、半结构化以及非结构化数据集,Spark采用了内存计算,允许数据载入内存作反复查询,融合数据仓库、流处理和图形计算等多种计算范式,Spark能够与Hadoop 很好地结合,Storm用于处理高速、大型数据流的分布式实时计算系用,为Hadoop添加可靠的实时数据处理能力。

最佳实践小文

DBS通过IPSec VPN备份自建数据库

客户业务系统部署在IDC或者公有云环境,对业务数据有云上备份需求。在客户交流过程中,基于数据高可用和灾备需求,要求将数据备份至阿里云OSS的存储空间,同时备份数据流基于IPSec VPN/专线进行安全传输。

taro_秋刀鱼

阿里云物联网平台设备上下线信息通过规则引擎流转到RDS示例

阿里云物联网平台数据流转Topic:/as/mqtt/status/{productKey}/{deviceName} 获取设备的上下线状态。这里演示如何将设备的上下线信息通过规则引擎将消息流转到RDS数据库。

巴蜀真人

最新消息!Cloudera 全球发行版正式集成 Apache Flink

近期 Cloudera Hadoop 大神 Arun 在 Twitter 上宣布 Cloudera Data Platform 正式集成了 Flink 作为其流计算产品,Apache Flink PMC Chair Stephan 也回应:“此举意义重大。

云栖号资讯小编

5G与数据中心的作用

毫无疑问,5G将会改变数据中心的建设和运营方式,在某些情况下,将改变它们在更大的网络中扮演的角色。

巴蜀真人

实时计算在贝壳的实践

本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用,通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。

云栖号资讯小哥

永不静止的暗流:数据跨境流通的因果与新机

在2019年中,让所有旅行爱好者感到“震撼全家”的一桩新闻,相信就是美国签证的“社交媒体审查“了。从2019年5月31日起,在填写签证申请表格(DS-160)时,申请人要提供近五年来使用过的所有社交媒体平台的用户名。其中包括且不限于微博、豆瓣、QQ空间……

云栖号资讯小编

物联网和5G可以使制造业再创新高

如今,颠覆性技术正围绕着制造业。

云栖号资讯小编

您需要了解:物联网和工业4.0的正确数据策略

随着我们深入这一领域,我们将讨论一些行之有效的数据策略,这些策略可以帮助企业充分利用这一趋势。

yq传送门

惊魂48小时,阿里工程师如何紧急定位线上内存泄露? | 12月20号云栖号夜读

今天的首篇文章,讲述了:云计算场景下的大规模分布式系统中,网络异常、磁盘IO异常、时钟跳变、操作系统异常乃至软件本身可能存在bugs等,均给分布式系统正确运行带来了挑战。持续的监控报警完善是打造稳定高可用分布式系统过程中非常重要的工作,这个也就要求我们研发同学从细节处入手,本文将介绍的场景是针对线上报警的一丝异常,抽丝剥茧找到内存泄露的root cause,全程48小时,跟进修复了潜在风险隐患,并进一步丰富完善监控报警体系的过程。

巴蜀真人

Flink SQL 如何实现数据流的 Join?

Join 的实现依赖于缓存整个数据集,而 Streaming SQL Join 的对象却是无限的数据流,内存压力和计算效率在长期运行来说都是不可避免的问题。下文将结合 SQL 的发展解析 Flink SQL 是如何解决这些问题并实现两个数据流的 Join。

巴蜀真人

Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)

如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。

云栖号资讯小哥

什么是数据、信息、知识和智慧?

2006年1月份左右,我曾经撰写了一篇涉及数据,信息,知识和智慧的文章,在科学网看到倪鹏云老师也在探讨这个问题,于是我将原文一些核心的内容整理出来形成这篇文章与大家进行探讨。 在知识管理中,有一个经典的知识阶层图,本文将以这个图作为阐述的顺序依据。

云栖号资讯小编

为了帮助卖家成交,闲鱼工程师做了些什么?

亲,你有一个宝贝被拍下,请尽早发货~

xiaohei.info

Flink最佳实践(二)Flink流式计算系统

前言 在 Flink最佳实践(一)流式计算系统概述 中,我们详细讨论了流式计算系统中 时域、窗口、时间推理与正确性工具 等概念。 本文将以这些概念为基础,逐一介绍 Flink 的 发展背景、核心概念、时间推理与正确性工具、安装部署、客户端操作、编程API 等内容,让开发人员对 Flink 有较为全面的认识并拥有一些基础操作与编程能力。

狂师

Python系列-人工智能篇:带你搞懂TensorFlow基础入门

“阅读全文需8.5分钟,关注公众号:【测试开发技术】,后台回复me可免费领取学习资料。” 01 开篇 当今在互联网混,不随口说出深度学习,人工智能,机器学习,神经网络等词,人家都怀疑是个假的互联网人了,但相信大部分没有深入接触这块知识的人来说,对于这几个概念,都还是傻傻分不清? 记得,自从AlphaGo那波,业界似乎对机器学习推到一个新的高度?? 本来是不太想沾这趟混水的,但是作为一名技术控,还是需要了解一下,至少也得对概念有点印象。

xiaohei.info

Flink最佳实践(一)流式计算系统概述

前言 传统的批处理拥有巨大 吞吐量 的优势,但是随之而来的是极其 高延迟 的缺陷。 随着大数据系统的不断发展,传统的批处理已然无法全部满足对 时效性 要求愈加严苛的业务需求。 为了适应逐渐变得 「实时」 的年代,大数据系统架构也由简单的批处理转向批流混合的Lambda架构,最后可能会逐渐演变成只有流计算的 高精准高时效 的Kappa架构。