社区
Spark
帖子详情
kafka0.8.1开发程序,启动后发现kafka.consumer.ConsumerIterator占用内存特别大
gjinge
2018-01-13 10:41:23
1、kafka版本0.8.1.1,jdk1.8
2、kafka topic有三个分区,程序中消费者启动3个线程
3、程序启动后占用内存达到2G
4、使用mat分析 kafka.consumer.ConsumerIterator占了好多,但是并没有内存溢出,维持在2个G不在增加
5、我怀疑是kafka消费者把消息缓存到本地导致的
6、大神给分析分析?
下面是mat的内存分析截图
...全文
423
回复
打赏
收藏
kafka0.8.1开发程序,启动后发现kafka.consumer.ConsumerIterator占用内存特别大
1、kafka版本0.8.1.1,jdk1.8 2、kafka topic有三个分区,程序中消费者启动3个线程 3、程序启动后占用内存达到2G 4、使用mat分析kafka.consumer.ConsumerIterator占了好多,但是并没有内存溢出,维持在2个G不在增加 5、我怀疑是kafka消费者把消息缓存到本地导致的 6、大神给分析分析? 下面是mat的内存分析截图
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
kafka
_2.9.2-
0.8
.2.1.tgz
kafka
_2.9.2-
0.8
.2.1.tgz 安装 liunx环境 安装jdk vi /etc/profile在末尾追加 JAVA_HOME JRE_HOME PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib source /etc/profile使环境变量立刻生效 安装
kafka
解压 tar -xzvf
kafka
_2.8.0-
0.8
.1.tgz ;rm
kafka
_2.8.0-
0.8
.1.tgz; cd
kafka
_2.8.0-
0.8
.1 修改配置
Kafka
默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改/bin/
kafka
-run-class.sh文件
KAFKA
_JVM_P
ER
FORMANCE_OPTS="-s
er
v
er
-XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBefor
eR
emark -XX:+DisableExplicitGC -Djava.awt.headless=true" 去除-XX:+UseCompressedOops参数
启动
bin/zookeep
er
-s
er
v
er
-start.sh config/zookeep
er
.prop
er
ties & bin/
kafka
-s
er
v
er
-start.sh config/s
er
v
er
.prop
er
ties & 停止 bin/
kafka
-s
er
v
er
-start.sh config/s
er
v
er
.prop
er
ties & bin/zookeep
er
-s
er
v
er
-start.sh config/zookeep
er
.prop
er
ties & create a topic bin/
kafka
-topics.sh --create --zookeep
er
localhost:2181 --replication-factor 1 --partitions 1 --topic test 创建单partitions单replication的topic bin/
kafka
-topics.sh --list --zookeep
er
localhost:2181 查看topic 查看topic的分区 bin/
kafka
-topics.sh --describe --zookeep
er
localhost:2181 --topic test
启动
生产者 bin/
kafka
-console-produc
er
.sh --brok
er
-list localhost:9092 --topic test
启动
消费者 bin/
kafka
-console-con
sum
er
.sh --zookeep
er
localhost:2181 --topic test --from-beginning produce
启动
的时候参数使用的是
kafka
的端口而con
sum
er
启动
的时候使用的是zookeep
er
的端口; 单机连通性能测试 运行produc
er
bin/
kafka
-console-produc
er
.sh --b
kafka
监控命令
kafka
-run-class.sh查看消费了多少条数据
kafka
自带了很多工具类,在源码
kafka
.tools里可以看到: 源码包下载地址:http://archive.apache.org/dist/
kafka
/ 这些类该如何使用呢,
kafka
的设计者早就为我们考虑到了,在${
KAFKA
_HOME}/bin下,有很多的脚本,其中有一个
kafka
-run-class.sh,通过这个脚本,可以调用其中的tools的部分功能,如调用kafk...
大数据之
kafka
详解
Apache
Kafka
是一个开源消息系统,由Scala写成。是由Apache软件基金会
开发
的一个开源消息系统项目.在流式计算中,
Kafka
一般用来缓存数据,Storm通过消费
Kafka
的数据进行计算。...让你快速上手
kafka
.
kafka
_2.9.2-
0.8
.1集群安装
一、利用安装zookeep
er
的三台服务器做
KAFKA
集群。 服务器 IP地址 端口 服务器1 10.211.55.7 9092 服务器2 10.211.55.8 9092 服务器3 10.211.55.9 9092 1.1下载
kafka
_2.9.2-
0.8
.1 wget https://archive.apache.org/dist/
kafka
/
0.8
.1/
kafka
_2.9.2-
0.8
....
Kafka
0.8
.1 Documentation
http://
kafka
.apache.org/documentation.html 1.1 Introduction
Kafka
is a distributed, partitioned, replicated commit log s
er
vice. It provides the functionality of a messaging system, but with a u...
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章