猫咪的一生 2020-07-21 00:16:22 kafka在高并发的情况下,如何避免消息丢失和消息重复? 3,如何保证消息有序?1.为什么会发生消息丢失和消息重复?解决办法: 针对消息丢失:同步模式下,确认机制设置为-1,即让消息写入Leader和Follower之后再确认消息发送成功;Producer的另一个问题是消息的乱序问题。?
猫咪的一生 2020-07-08 22:41:35 kafka的认识、安装与配置 Kafka 的数据单元被称作消息,可以看作是数据库中的一行数据,消息是由字节数组组成,故对 kafka 来说消息没有特别的意义,消息可以有一个可选的元数据,也就是键。为了提高效率,消息将被分批次写入 Kafka 。
猫咪的一生 2020-06-26 12:13:28 【消息队列-Kafka】01-Kafka入门使用 一、引入kafka pom三方配置 二、生产者使用实例 1.生产者配置 2.单元测试 三、消费者使用实例 1.消费者配置 2.单元测试
猫咪的一生 2020-06-16 00:46:07 一文详解消息队列——Kafka如何实现高性能IO? 在 Kafka 内部,消息都是以“批”为单位处理的。这就是 Kafka 用批量消息提升性能的方法。Kafka 就是充分利用了磁盘的这个特性。利用PageCache加速消息读写 在 Kafka 中,它会利用 PageCache 加速消息读写。
猫咪的一生 2020-06-03 22:41:34 Shell 直接向kafka 的Topic发送消息 1.常见的我们是进入它的消费者模式 , 在里面输入 , 但是如何封装到shell中 kafka-console-producer.sh --broker-list node1:9092 --topic sky 比如我只想把 hello 这条
猫咪的一生 2020-05-29 09:41:11 Spring cloud kafka stream pitfalls The “channel.send” method will immediately throw an exception from “UnicastDispatcher.doDispatch”, complaining that no m
猫咪的一生 2020-05-27 08:42:10 Kafka消息是采用Pull模式,还是Push模式? 一些消息系统比如Scribe和Apache Flume采用了push模式,将消息推送到下游的consumer。这样做有好处也有坏处:由broker决定消息推送的速率,对于不同消费速率的consumer就不太好处理了。
猫咪的一生 2020-05-26 08:43:02 谈一谈 Kafka 的再均衡? Rebalance的过程如下: 第一步:所有成员都向coordinator发送请求,请求入组。一旦完成分配,leader会将这个方案发给coordinator。所以对于Rebalance来说,Coordinator起着至关重要的作用
猫咪的一生 2020-05-09 00:35:27 kafka 消息队列 kafka kafka kafka kafka kafka 配置 kafka kafka 启动 kafka 命令行 kafka kafka kafka kafka kafka kafka
猫咪的一生 2020-05-03 13:36:36 Kafka核心技术与实战——09 | 生产者消息分区机制原理剖析 所谓分区策略是决定生产者将消息发送到哪个分区的算法。轮询策略是 Kafka Java 生产者 API 默认提供的分区策略。事实上,随机策略是老版本生产者使用的分区策略,在新版本中已经改为轮询了。后来发现其实使用key+多分区也可以实现。
猫咪的一生 2020-05-03 13:21:23 Kafka核心技术与实战——08 | 最最最重要的集群参数配置(下) 它决定了 Kafka Broker 能够正常接收该 Topic 的最大消息大小 怎么设置 Topic 级别参数吧创建 Topic 时进行设置 Kafka 开放了kafka-topics命令供我们来创建 Topic 即可。
猫咪的一生 2020-05-01 18:36:17 Kafka 面试题 Consumer :消息消费者,向 kafka broker 取消息的客户端;Broker :一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。二、Kafka压测
猫咪的一生 2020-04-27 12:53:47 Kafka核心技术与实战——03 | Kafka只是消息引擎系统吗? 第一点是更容易实现端到端的正确性(Correctness)。在这样的需求之下,搭建重量级的完整性平台实在是“杀鸡焉用牛刀” Apache Kafka 从一个优秀的消息引擎系统起家,逐渐演变成现在分布式的流处理平台。
猫咪的一生 2020-04-26 20:42:41 Spring Boot 自定义kafka 消费者配置 ContainerFactory最佳实践 此篇文章会在SpringBoot 提供的默认模板上提供扩展,不会因为你自定义了消费者配置,而导致原生SpringBoot的Kakfa模板配置失效。
猫咪的一生 2020-04-23 11:06:22 linux运维、架构之路-Kafka集群部署 一、Kafka介绍 Kafka是一个开源的分布式消息引擎/消息中间件,同时Kafka也是一个流处理平台。Kafka最核心的最成熟的还是他的消息引擎,所以Kafka大部分应用场景还是用来作为消息队列削峰平谷。3、
猫咪的一生 2020-04-17 10:41:14 kafka的基本体系结构 消费消息 如何防止消息被重复消费?消费组:不同的消费者实体分配了不一样的分区。一个分区对应了唯一的一个消费者。所以不会出现消息重复。分布在不同的broker上;生产高性能:分区在不同的broker,可以并发的写消息;kafka的基本体系结构
猫咪的一生 2020-04-07 21:21:04 Kafka的环境搭建(安装) 基础环境准备 安装前的准备工作(zk已经部署完毕) 关闭防火墙 kafka单机版安装采用自带的zookeeper处理 1.校验一下java是否安装 如果没有安装,请先安装java环境 参考JDK安装方法 ?11.启动消费者
猫咪的一生 2020-04-06 23:26:31 caseStudy-20180913-Kafka进程挂掉&解决办法 问题描述 2018年xx月xx日 下午4点20分左右 xxx无意中看到xxx正在排查线上Kafka集群遇到的问题,随后问明情况,有一台机器上Kafka进程挂了,当时他正在lark平台上查看错误日志信息,随后我一起加入排查问题。
猫咪的一生 2020-03-20 16:51:45 kafka单点集群配置 启动kafka服务 kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties #后台运行 ss -lntup|grep 9092 jps ????????
猫咪的一生 2020-03-07 15:38:20 Kafka的入门及安装使用 Kafka的入门及安装使用 主要应用场景是:日志收集系统和消息系统。(五)使用消费者进行消息读取 Kafka的入门及安装使用 生产和消费都是同步的。若是不设置,则从当前时刻开始读取消息 (六)分区状态查看 Kafka的入门及安装使用