数据流

#数据流#

已有0人关注此标签

内容分类

宜信技术学院

探寻流式计算

流计算的出现拓宽了应对复杂实时计算需求能力。Storm作为流计算的利器,极大方便了应用。

宜信技术学院

敏捷AI | NLP技术在宜信业务中的实践【构建用户画像篇】

在业务中如何运用NLP技术构建客户画像。

巴蜀真人

Apache Flink 进阶入门(二):Time 深度解析

Flink 的 API 大体上可以划分为三个层次:处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API,这三层中的每一层都非常依赖于时间属性。

开源大数据EMR

【译】Hadoop发生了什么?我们该如何做?

原文:https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ Apache Hadoop出现在IT领域是在2006年,它可以支持使用廉价的商用硬件来存储海量数据。

墨者安全

如何建设网络安全架构及防御措施?

在规划和构建网络信息系统的早期阶段,您需要规划系统的整体网络架构并创建网络拓扑图以满足您的业务需求,根据您的业务需求合理化网络区域划分,确定网络边界并降低系统风险。 网络架构是指对由计算机软硬件、互联设备等构成的网络结构和部署,用以确保可靠地进行信息传输,满足业务需要。

陈江@阿里

cassandra启动过程介绍

cassandra启动流程 整个启动流程会启动前端cql server用来接收客户端cql请求,启动node互相通信用的MessageService。这个都是常规操作,就不花费篇幅赘述了。cassandra启动过程对于新节点加入还是正常启动还是有区分的,新节点会造成数据重分布,所以需要先执行bootstrap。

王知无

Flink 网络传输优化技术

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 作为工业级的流计算框架,Flink 被设计为可以每天处理 TB 甚至 PB 级别的数据,所以如何高吞吐低延迟并且可靠地在算子间传输数据是一个非常重要的课题。

王知无

Flink/Spark 如何实现动态更新作业配置

由于实时场景对可用性十分敏感,实时作业通常需要避免频繁重启,因此动态加载作业配置(变量)是实时计算里十分常见的需求,比如通常复杂事件处理 (CEP) 的规则或者在线机器学习的模型。尽管常见,实现起来却并没有那么简单,其中最难点在于如何确保节点状态在变更期间的一致性。

夕阳丶丶丶

如何最大限度地减少DDOS攻击的危害

如何最大限度地保护企业服务器?如果我们无法阻止这种攻击,可以采取哪些措施?分布式拒绝服务(DDoS)是一种完全不同的攻击,你阻止不了黑客对你这么做,除非您主动断开与互联网的连接,否则它会对你的网站发起DDoS攻击。

怡海软件crm

区块链跟物联网结合的意义在哪里?

我们对自动化、人工智能(AI)和物联网(IoT)等技术感到兴奋,但现实是,数十亿笔交易发生在仍然没有很好集成的系统之间。 如果您的组织在使用人工智能,那么您可能只是在使用它优化客户服务。或者你只是将物联网应用于你的运营,而不是你的营销。

黄小斜

Java基础17:Java IO流总结

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a724888/article/details/80201802 这位大侠,这是我的公众号:程序员江湖。

北斗云

Apache NiFi之Kafka流数据到HBase

一.说明 在大数据平台的业务场景中,处理实时kafka数据流数据,以成为必要的能力;此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 测试使用了kafka0.

北斗云

Apache NiFi之MySQL数据同步

一.简述 Apache NiFi是一个易用、强大、可靠的数据处理与分发系统,Apache NiFi的设计目标是自动化管理系统间的数据流Apache NiFi是美国国家安全局(NSA)开发和使用了8年的一个可视化、可定制的数据集产品。

上云小马达

上云双引擎(上)- 如何从单台ECS转换成业务高可用架构

背景 传统的互联网业务,无论是APP应用还是web应用,很多中小型企业对于云服务还是处于一个“懵懂”时期,基本上所有的应用部署都依然延用的线下的那一套,例如数据库自建,中间件自建,存储自建;如果业务都是单点部署,不管是数据安全、还是业务的稳定性,都难以得到保障。

Ververica

Apache Flink 零基础入门(一):基础概念解析

本文是根据 Apache Flink 基础篇系列直播整理而成,由 Apache Flink PMC 戴资力与阿里巴巴高级产品专家陈守元共同分享。Apache Flink 系列入门教程每周更新一期,持续推送。

flowerwaiter

大数据时代的数据治理

其实一直想写这个主题,只是最近事有点多。按照向下兼容的特性来说,大数据治理和数据治理应该是没有差别的。但从本质而言,传统数据库的模式是Schema on Write,即在写入数据前先要定义Schema,包括了数据库的表、视图、存储过程、索引等,每个数据库条目都有自己的血缘关系(Lineage),基于角色或栏的访问控制,变更日志等等,这些内容在跨系统数据传输或转置时必须定义明确,因为在数据流的每个入库阶段都可能改变原始数据。

javaedge

Flink实战(七) - Time & Windows编程

掌握Flink中三种常用的Time处理方式,掌握Flink中滚动窗口以及滑动窗口的使用,了解Flink中的watermark。 Flink 在流处理工程中支持不同的时间概念。

javaedge

Flink实战(五) - DataStream API编程

1 概述 Flink中的DataStream程序是实现数据流转换的常规程序(例如,过滤,更新状态,定义窗口,聚合)。 最初从各种源(例如,消息队列,套接字流,文件)创建数据流。 结果通过接收器返回,接收器可以例如将数据写入文件或标准输出(例如命令行终端)。

山东布谷科技

开发一款手机直播源码APP系统软件应该有哪些功能,如何开发?

用户体验:流畅、不卡顿、不花屏、断线重连、丢包策略、首画加载速度、丰富的礼物系统,为了提高用户体验,可以在后台加载其他页面数据,但要在用户体验和内存优化方面找到平衡点。

王知无

Flink从入门到放弃(入门篇1)-Flink是什么

本文是例行介绍,熟悉的直接跳过 - 鲁迅 鲁迅: ... 大纲 入门篇: 放弃篇: 图片显示不了,戳这里: https://github.com/wangzhiwubigdata/God-Of-BigData/blob/master/Flink Flink是什么 一句话概括 Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,提供支持流处理和批处理两种类型应用的功能。