聊聊Kafka事务流由基础到实践 分区,记录、偏移量和主题 分区是记录的完全有序序列,每一个分区对应一个append日志,这是Kafka的基础。一个主题可以具有一个或多个分区,而一个分区只能有一个主题或者一个主题的部分。主题是Kafka的基础,允许并行和负载平衡。 xpg 2020-06-08 17:49:48
在Mac中演示最新版Kafka v2.3.1 消息的发送和接收 上一章中,我们介绍了在Mac上安装、启动最新版Apache Kafka v2.3.1。在Mac中演示最新版Kafka v2.3.1 消息的发送和接收 上述输出结果,说明Kafka Server工作正常。 xpg 2019-12-16 07:24:54
Kafka Producer中batch.size和linger.ms参数的含义? 当这两个参数同时设置的时候,只要两个条件中满足一个就会发送。Kafka Producer中batch.size和linger.ms参数的含义?Kafka Producer中batch.size和linger.ms参数的含义? xpg 2019-11-23 08:09:36
kafka 入门详解 Kafka Kafka 核心概念 什么是 Kafka Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Partition 每个topic可以有一个或多个partition(分区)。 xpg 2019-11-19 15:04:59
Kafka 为什么使用消费者组? 1. 消费者组的特点 Kafka 为什么使用消费者组?而分区在不同的消费组间是共享的。Kafka 为什么使用消费者组?Kafka 为什么使用消费者组?Kafka 为什么使用消费者组?Kafka 为什么使用消费者组? xpg 2019-11-13 12:29:14
Kafka Producer Kafka producer overview python clients: confluent-kafka-python : created by Confluent which is based on C client librdka xpg 2019-11-05 14:03:04
什么是Kafka?它有四个关键概念值得我们去学习 2 消息队列实现原理 什么是Kafka?什么是Kafka?什么是Kafka?4 kafka 架构 什么是Kafka?topic 下的消息会复制给 consumer。什么是Kafka?分区是消费者现场模型的最小并行单位。什么是Kafka? xpg 2019-11-03 20:27:34
消息队列Kafka、RocketMQ、RabbitMQ的优劣势比较 Kafka、RocketMQ、RabbitMQ的优劣势比较;以及消息队列的选型;一、最全MQ消息队列有哪些 那么目前在业界有哪些比较知名的消息引擎呢?消费失败不支持重试;以上,是Kafka、RocketMQ、RabbitMQ的优劣势比较。 xpg 2019-10-30 10:29:41
kafka/rocketmq Broker起来后想Namesrv注册,Producer、Consumer通过Namesrv发现新Broker,立即跟该Broker直连,收发消息。kafka/rocketmq 其他 bridgequeue 内存。redis实现。 xpg 2019-07-01 09:16:37
Burrow 使用记录 2、Consumers: consumers 从存储库里获取consumer group 的相关信息(根据kafka版本的不同,获取的位置不同,可能是zk 、kafka的__consumer_offsets topic 等 )。 xpg 2019-07-01 07:09:27
学习kafka教程(三) 掌握kafka streams编程。Kafka流划分数据进行处理。Kafka流使用分区和任务的概念作为基于Kafka主题分区的并行模型的逻辑单元。Kafka主题分区在各种流线程之间的分配是由Kafka流利用Kafka的协调功能透明地处理的。 xpg 2019-06-30 22:05:19
Kafka Network层解析 我们知道kafka是基于TCP连接的。关于kafka为什么没有选用netty的原因可以看这里。Kafka Network层解析 本文主要分析的是Network层。Network层有两个重要的类:Selector和KafkaChannel。 xpg 2019-06-29 20:29:25
Kafka消息系统基础知识索引 消息要可靠 在某些场景,不能丢消息。KAFKA名词解释 基本功能 Kafka是一个分布式消息(存储)系统。发送到KAFKA的消息可能有多种,如何区别其分类?Topic Kafka消息系统基础知识索引 我们的消息就是写在主题里。只有监控功能 xpg 2019-06-29 18:05:01
为什么你要使用这么强大的分布式消息中间件——kafka 为什么是kafka?Kafka服务: 对于kafka而言,kafka服务就像是一个大的水池。Broker : Kafka消息服务器,消息中心。Consumer :消息消费者,向Kafka broker取消息的客户端。 xpg 2019-06-28 19:43:54
kafka(一)—基本概念 使用的更多的是第二种。Consumer 与 Consumer Group 的动态维护 当一个Consumer 进程挂掉 或者是卡住时,该Consumer所订阅的partition会被重新分配到该group内的其它的Consumer上。 xpg 2019-06-28 04:51:30
Spring Boot2.0 整合 Kafka Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 Kafka 的定义:一个分布式发布-订阅消息传递系统。可扩展性:kafka集群支持热扩展;运营指标:Kafka也经常用来记录运营监控数据。事件源;。 xpg 2019-06-28 04:37:32
Kafka 文档(用例) 在这个领域,Kafka可以与传统的消息系统(如ActiveMQ或RabbitMQ)相媲美。活动跟踪通常是非常高的量,因为每个用户页面视图都会生成许多活动消息。日志聚合 许多人使用Kafka作为日志聚合解决方案的替代。 xpg 2019-06-28 04:29:23
阿里云消息队列Kafka商业化:支持消息无缝迁移到云上 7月25日,阿里云宣布正式推出消息队列Kafka,全面融合开源生态。在兼容Apache生态的基础上,阿里云消息队列Kafka彻底解决了开源产品稳定性不足的痛点,可用性达99.9%,数据可靠性99.999999%,并且支持消息无缝迁移到云上。 xpg 2019-06-28 02:32:42
【大数据实践】Kafka生产者编程(1)——KafkaProducer详解 KafkaProducer(java.util.Properties properties) 配置信息放在Properties对象中,构造Producer。因此,可允许并行发送record,而不用阻塞等待每个record发送完成。 xpg 2019-06-27 17:05:25
Kafka学习笔记(一) :为什么需要Kafka? 拥有消息发布和订阅的功能,类似于消息队列或者企业消息传送系统;能存储消息流,并具备容错性;能够实时的处理消息;那么Kafka为什么会诞生呢?高效率的存储消息;消费者能快速的找到想要消费的消息;消费者在消费Topic分区中的消息时是有序的; xpg 2019-06-26 22:11:02