kafka stream api-kafka消费-kafka集群-手机站-阿里云

《Kafka Stream》调研：一种轻量级流计算模式

Confluent Inc（原LinkedIn Kafka作者离职后创业公司）在6月份预告推出Kafka Stream，Kafka Stream会在Kafka 0.10版本中推出。对于流计算，已经有Storm、Spark，Samza，包括最近新起的Flin

简志 8年前 25995

Spark Streaming vs. Kafka Stream 哪个更适合你

译者注：本文介绍了两大常用的流式处理框架，Spark Streaming和Kafka Stream，并对他们各自的特点做了详细说明，以帮助读者在不同的场景下对框架进行选择。以下是译文。流式处理的需求每天都在增加，仅仅对大量的数据进行处理是不够的。数据必须快速

反向一觉 7年前 1439

Spark Streaming vs. Kafka Stream 哪个更适合你

译者注：本文介绍了两大常用的流式处理框架，Spark Streaming和Kafka Stream，并对他们各自的特点做了详细说明，以帮助读者在不同的场景下对框架进行选择。以下是译文。流式处理的需求每天都在增加，仅仅对大量的数据进行处理是不够的。数据必须快速

知与谁同 7年前 1708

Kafka Java API示例

1、Producer端 import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; impo

柏辰爸爸 8年前 1122

Kafka API实践

系统学习三步骤走：理解原理、搭建系统、Api练习。从哪里找到Api？Document和git。例如，Kafka在github上的地址github.com/apache/kafka，找到example目录。这也算是一个小技巧/apache/xxx，就是X

白头雁 6年前 1304

2.3 Streams API 官网剖析（博主推荐）

　一切来源于官网 http://kafka.apache.org/documentation/ 2.3 Streams API 2.3 Streams API 在0.10.0增加了一个新的客户端库，Kafka Stream，Kafka Stream具有Alph

技术小哥哥 7年前 931

Apache Kafka：大数据的实时处理时代

在过去几年，对于 Apache Kafka 的使用范畴已经远不仅是分布式的消息系统：我们可以将每一次用户点击，每一个数据库更改，每一条日志的生成，都转化成实时的结构化数据流，更早的存储和分析它们，并从中获得价值。同时，越来越多的企业应用也开始从批处理数据平台

反向一觉 7年前 1354

Apache Kafka：大数据的实时处理时代

在过去几年，对于 Apache Kafka 的使用范畴已经远不仅是分布式的消息系统：我们可以将每一次用户点击，每一个数据库更改，每一条日志的生成，都转化成实时的结构化数据流，更早的存储和分析它们，并从中获得价值。同时，越来越多的企业应用也开始从批处理数据平台

知与谁同 7年前 1569

spark kafka direct stream的一个问题

sparkstreaming使用kakfa direct streaming api创建streaming。这个api是从kafka文件中直接获取数据的，kafka topic有多少个分区就对应着stream中的rdd有多少个分区。我想问问如何在不增加kafk

hbase小能手 6年前 459

Apache Flink：Python流API中的Kafka连接器，“无法加载用户类”

我正在尝试使用Flink的新Python流API并尝试运行我的脚本./flink-1.6.1/bin/pyflink-stream.sh examples/read_from_kafka.py。python脚本相当简单，我只是尝试使用现有主题并将所有内容发送到

flink小助手 6年前 1486

请叫一个flink和kafka集成问题，如果用这个API（FlinkKafkaConsumer010(List<String> topics, DeserializationSchema<T> deserializer, Properties props)）同时读多个topic，用什么Schema，能在收到的消息中得到这个消息时来自哪个topic？

转自钉钉群21789141：请叫一个flink和kafka集成问题，如果用这个API（FlinkKafkaConsumer010(List<String> topics, DeserializationSchema<T> deserializer, Prope

赵慧@ApacheFlink中文社区 6年前 1157

flink state.backend是rocksdb，存储在hdfs上，经常遇到checkpoint执行不成功的情况 checkpoint超时过期的原因（设置checkpoint超时为60s）

flink程序在yarn上执行 kafka source topic分区为20 设置程序并行度为10，-yn 2 -ys 5 -ytm 26600 -yjm 5120，我看到网上有说是因为程序并行度太高导致打开的文件数太多，从而导致的在hdfs创建文件不成功，

莱昂007 6年前 1970

试图将Fuple写入Flink Kafka接收器

我正在尝试编写一个流媒体应用程序，它既可以读取也可以写入Kafka。我目前有这个，但我必须把我的元组课程串起来。 object StreamingJob { def main(args: Array[String]) { // set u

flink小助手 6年前 345

Spark 【问答合集】

如何使用spark将kafka主题中的writeStream数据写入hdfs？ https://yq.aliyun.com/ask/493211 当Spark在S3上读取大数据集时，在“停机时间”期间发生了什么？ https://yq.aliyun.co

社区小助手 5年前 533

如何在Scala中使用Flink的KafkaSource？

尝试用Flink的KafkaSource运行一个简单的测试程序，内容如下： Flink 0.9 Scala 2.10.4 Kafka 0.8.2.1 import org.apache.flink.streaming.api.scala._ impo

【方向】 6年前 670

在EMR类中找不到Spark-submit异常java

我有一个jar包捆绑创建一个弹簧启动应用程序，其中我创建spark会话来做一些操作。然后我发送这个jar AWS EMR，要么运行的spark-submit或者java -jar未工作的可执行文件。这是我的jar结构 jar -tf <jar

小六码奴 5年前 178

kafka stream api

免费套餐

校园扶持

API服务

《Kafka Stream》调研：一种轻量级流计算模式

Spark Streaming vs. Kafka Stream 哪个更适合你

Spark Streaming vs. Kafka Stream 哪个更适合你

Kafka Java API示例

Kafka API实践

2.3 Streams API 官网剖析（博主推荐）

Apache Kafka：大数据的实时处理时代

Apache Kafka：大数据的实时处理时代

spark kafka direct stream的一个问题

Apache Flink：Python流API中的Kafka连接器，“无法加载用户类”

请叫一个flink和kafka集成问题，如果用这个API（FlinkKafkaConsumer010(List<String> topics, DeserializationSchema<T> deserializer, Properties props)）同时读多个topic，用什么Schema，能在收到的消息中得到这个消息时来自哪个topic？

flink state.backend是rocksdb，存储在hdfs上，经常遇到checkpoint执行不成功的情况 checkpoint超时过期的原因（设置checkpoint超时为60s）

试图将Fuple写入Flink Kafka接收器

Spark 【问答合集】

如何在Scala中使用Flink的KafkaSource？

在EMR类中找不到Spark-submit异常java

相关主题