PhxQueue PhxQueue 目前在微信内部广泛支持微信支付、公众平台等多个重要业务,日均入队达千亿,分钟入队峰值达一亿。其设计出发点是高数据可靠性,且不失高可用和高吞吐,同时支持多种常见队列特性。部署 Scheduler 后,Scheduler leader 与所有 Conusmer 维持心跳,在收集 Consumer 的负载信息的同时,反向调整 Consumer 与队列的处理关系。当 Scheduler leader 宕机了后,Scheduler 依赖下述分布式锁服务选举出新 leader,不可用期间仅影响 Co 2017-08-21 15:36:08
kafka学习总结017 --- consumer配置参数之max.poll.interval.ms max.poll.interval.ms参数用于指定consumer两次poll的最大时间间隔(默认5分钟),如果超过了该间隔consumer client会主动向coordinator发起LeaveGroup请求,触发rebalance; sweetgirl0 2020-06-28 22:03:08
kafka学习总结016 --- consumer配置参数session.timeout.ms和heartbeat.interval.ms 前面说过了consumer心跳机制:consumer定期向coordinator发送心跳请求,以表明自己还在线;三个消费者属于同一个组,并订阅该topic;可以看到前两个消费者分别消费0号分区和1号分区,第三个消费者闲置; jiaomrswang 2020-06-28 17:58:43
kafka学习总结012 --- 数据消费相关流程 __consumer_offsets默认的配置是:50个分区,1个副本;。coordinator会选择一个consumer作为leader,并且把组成员信息及订阅信息发给leader;leader负责分配消费方案,即组内消费者消费哪些分区; guicaizhou 2020-06-28 14:47:02
Kafka消息是采用Pull模式,还是Push模式? 一些消息系统比如Scribe和Apache Flume采用了push模式,将消息推送到下游的consumer。这样做有好处也有坏处:由broker决定消息推送的速率,对于不同消费速率的consumer就不太好处理了。 猫咪的一生 2020-05-27 08:42:10
kafka 关于offset的理解--关于__consumer_offsets分析 通过groupname 获取groupid kafka 关于offset的理解--关于__consumer_offsets分析 通过命令查 ./bin/kafka-consumer-groups.sh --bootstrap-server yangyutong00 2020-04-26 23:24:54
kafka 再平衡机制 Range:首先会计算每个consumer可以消费的分区个数,然后按照顺序将指定个数范围的分区分配给各个consumer;-- 尝试将t2-0分配给C0,由于C0没有订阅t2,因而会轮询下一个consumer; 猫咪的一生 2020-03-03 19:52:42
Kafka限流 1. 客户端认证 如果kafka客户端是认证的,那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。对clientId=clientA的客户端添加限流设置。设置后立即生效。 guicaizhou 2019-12-11 12:16:54
Kafka高级设计和架构,一文深化理解 5、kafka的消息保证有几种方式?6、kafka消息是否会丢失?kafka是基于磁盘的持久化。2、kafka究竟是由 consumer 从 broker 那里 pull 数据,还是由 broker 将数据 push 到 consumer? guicaizhou 2019-12-05 18:01:58
kafka中处理超大消息的一些考虑 at kafka.consumer.ConsumerIterator.makeNext(ConsumerIterator.scala:91) ~[pip-kafka-consumer.jar:na] ! guicaizhou 2019-12-04 11:05:19
带你涨姿势的认识一下Kafka Consumer !Kafka 消费者从属于消费者群组。一个群组中的消费者订阅的都是相同的主题,每个消费者接收主题一部分分区的消息。只要消费者定期发送心跳,就会认为消费者是存活的并处理其分区中的消息。重平衡的过程对消费者组有极大的影响。直到它收集结束。 sweetgirl0 2019-11-28 10:07:28
Kafka的内部topic:__consumer_offsets 消费位移量主题 一、查看__consumer_offsets topic主题和分区 运行如下命令,可以看到__consumer_offsets topic,从名称上来推测,这个topic是和consumer的位移相关的。 amwayy 2019-11-20 06:56:07
图解分析:Kafka中producer和consumer如何知道分区leader在哪? 那问题是Kafka中的producer和consumer如何知道分区的leader在哪里?获取元数据的响应;写入对应的leader分区;图解分析:Kafka中producer和consumer如何知道分区leader在哪? 那年夏天0 2019-11-19 07:43:09
聊聊rocketmq broker的CONSUMER_SEND_MSG_BACK 然后通过MixAll.getRetryTopic(requestHeader.getGroup())方法获取该consumerGroup对应的retryTopic,并计算queueIdInt; lypgcs 2019-11-15 07:42:07
Kafka设计解析(四)- Kafka Consumer设计解析 摘要 本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。具体方案将在后文中详细阐述。 russle 2016-07-27 09:54:11
KafKa服务搭建 这个offset基于consumer group名存储。Consumer group名在Kafka集群上是全局性的,在启动新的consumer group的时候要小心集群上没有关闭的consumer。 wangying 2017-10-19 15:57:37