yydg.net
当前位置:首页 >> kAFkA获取topiC的消息量 >>

kAFkA获取topiC的消息量

如果你在0.9版本以上,可以用最新的consumer client 客户端,有consumer.seektoend() / consumer.position() 可以用于得到当前最新的offset:${log.dirs}/replication-offset-checkpoint

kafka 的 api 提供了 getoffsetbefore 这个接口, 可以获取到最新的offset.把所有的lag加起来就是总的lag

一、基于Receiver的方式 这种方式使用Receiver来获取数据.Receiver是使用Kafka的高层次Consumer API来实现的.receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的,然后Spark Streaming启动的job会去处理那些数据.然

logsize 存在kafka 的分区index文件中,需要了解kafka的存储机制才能解析出来,直接调用api

基于0.8.0版本.##查看topic分布情况kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况)bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:

您好,希望以下回答能帮助您我只想说还是换个系统比较好,win7装tornado特别容易出问题,XP就可以如您还有疑问可继续追问.

我不生产答案,我只是当一回Stackoverflow的搬运工.今天刚好在Stackoverflow查Kafka的一个问题,顺带看到的. For finding the start offset to read in Kafka 0.8 Simple Consumer example they say Kafka includes two constants to help, ka

选中某一行,var record = grid.getSelectionModel().getSelection(); 一行的所有数据都在record里面 具体某一列:record.get("列名-dataIndex")

1、创建一个需要增加备份因子的topic列表的文件,文件格式是json格式的. 2、使用kafka官方提供的工具拿到上面topic的partions 分布情况,并重定向到文件中. 3、修改ressgintopic.conf 文件的,手动分配新增加的partion 备份因子. 4、通

我不生产答案,我只是当一回Stackoverflow的搬运工.今天刚好在Stackoverflow查Kafka的一个问题,顺带看到的.For finding the start offset to read in Kafka 0.8 Simple Consumer example they sayKafka includes two constants to help,kafka.api.

网站首页 | 网站地图
All rights reserved Powered by www.yydg.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com