消息中间件(十四)-----kafka高可用以及在zookeeper中的存储 每个Follower都从Leader pull数据。这种方式上,Follower存储的数据顺序与Leader保持一致。Leader会跟踪与其保持同步的Replica列表,该列表称为ISR(即in-sync Replica)。 那年夏天0 2020-06-04 19:23:47
kafka--环境搭建 6)查看某个Topic的详情 [ kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first 7)修改分区数 [ kafka]$bin 那年夏天0 2020-06-03 00:27:02
.net core kafka 入门实例 一篇看懂 持久化 Kafka会把消息持久化到本地文件系统中,每个 Topic 将消息分成多 Partition,每个 Partition 在存储层面是 append log 文件。别急,接下来就上代码,这个是不能少的。 那年夏天0 2020-05-20 12:05:57
Kafka核心技术与实战——16 | 揭开神秘的“位移主题”面纱 __consumer_offsets 在 Kafka 源码中有个更为正式的名字,叫位移主题,即 Offsets Topic。 那年夏天0 2020-05-19 12:22:40
浅谈架构:kafka高吞吐量之消息压缩 消息压缩模型 消息格式V1 浅谈架构:kafka高吞吐量之消息压缩 kafka不会直接操作单条消息,而是直接操作一个消息集合。消息格式V2: 浅谈架构:kafka高吞吐量之消息压缩 1, 抽取了消息的公共部分放到消息集合中; 那年夏天0 2020-04-26 15:01:59
Flink通过SQLClinet创建kafka源表并进行实时计算 1.通过自建kafka的生产者来产生数据 数据 Flink通过SQLClinet创建kafka源表并进行实时计算 2.在kafka进行消费 Flink通过SQLClinet创建kafka源表并进行实时计算 3.在Flink的sqlclien 那年夏天0 2020-04-09 18:10:53
kafka术语 topic:消息主题,每个topic唯一,可存储和传输数据。kafka仅支持topic模式。producer:消息生产者,将消息push到指定topic,消息可以使txt文本(每行一条),文件,序列化对象。 那年夏天0 2020-02-22 18:17:09
centos8安装kafka(单机方式) 一,下载kafka 1,官网地址 2,下载 说明:架构森林是一个专注架构的博客,对应的源码可以访问这里获取 https://github.com/liuhongdi/ 说明:作者邮箱: 二,解压: 三,启动zookeeper 四,创建日志目 那年夏天0 2020-02-19 20:39:14
Kafka与RabbitMQ、ActiveMQ协议区别 对于Kafka与RabbitMQ、ActiveMQ协议,它们具体的区别如下: activemq: activemq支持主从复制、集群。这一点貌似不太科学。看样子activemq还在升级中。activemq工作模型比较简单。 那年夏天0 2020-02-12 10:45:33
Windows平台整合SpringBoot+KAFKA__第2部分_代码编写前传 于是关掉那两个CMD窗口,再启动这两个服务;zookeeper启动正常;KAFKA启动不正常,我心想,不是吧,啥玩意啊,这么容易坏??删除KAFKA的日志文件,再去zookeeper配置的DATA文件夹,删掉里面的文件;重启 一切正常; 那年夏天0 2020-01-06 17:36:25
使用Python读写Kafka 本篇会给出如何使用python来读写kafka, 包含生产者和消费者. 以下使用kafka-python客户端 生产者 爬虫大多时候作为消息的发送端, 在消息发出去后最好能记录消息被发送到了哪个分区, offset是多少, 这些记录在很多情 那年夏天0 2019-12-29 23:32:30
zookeeper and kafka 本文介绍了如何使用Go语言发送和接收kafka消息。sarama Go语言中连接kafka使用第三方库:github.com/Shopify/sarama。连接kafka发送消息 连接kafka消费消息 那年夏天0 2019-12-27 14:27:35
[转]kafka要等一段时间才能消费到数据 kafka要等一段时间才能消费到数据 [转]kafka要等一段时间才能消费到数据 pythonkafka 为什么用python写的kafka客户端脚本,程序一运行就能生产数据,而要等一段时间才能消费到数据(topic里面有数据)。 那年夏天0 2019-12-16 21:25:27
Kafka幂等性原理及实现剖析 Producer在生产发送消息时,难免会重复发送消息。Kafka在引入幂等性之前,Producer向Broker发送消息,然后Broker将消息追加到消息流中后给Producer返回Ack信号值。面对这样的问题,Kafka引入了幂等性。 那年夏天0 2019-12-13 22:53:23
Kafka各版本对比分析 l Kafka的0.8版本的sdk支持有限,大部分都不支持了。3 版本0.9.x 3.1 概述 一、安全特性: 0.9之前,Kafka的安全方面几乎为零,Kafka集群提供了安全性。可以多线程消费。当然只能时0.10.0之后的版本。 那年夏天0 2019-12-07 13:57:33
开源Apache Cassandra、Kafka、Spark和ES何时该用,何时不该用? 开源Apache Cassandra、Kafka、Spark和ES何时该用,何时不该用?•何时应该使用Apache Cassandra?•何时不应该使用?•何时应该使用Apache Kafka?•何时应该使用Apache Spark? 那年夏天0 2019-12-06 09:13:53
1.kafka基础架构 kafka基础架构 什么是kafka?1.什么是消息队列?如何增加分区?2)Consumer :消息消费者,向kafka broker取消息的客户端;消费者组之间互不影响。一个broker可以容纳多个topic。 那年夏天0 2019-12-05 23:52:40