kafka0.8.1开发程序,启动后发现kafka.consumer.ConsumerIterator占用内存特别大

gjinge 2018-01-13 10:41:23
1、kafka版本0.8.1.1,jdk1.8

2、kafka topic有三个分区,程序中消费者启动3个线程

3、程序启动后占用内存达到2G

4、使用mat分析 kafka.consumer.ConsumerIterator占了好多,但是并没有内存溢出,维持在2个G不在增加

5、我怀疑是kafka消费者把消息缓存到本地导致的

6、大神给分析分析?

下面是mat的内存分析截图

...全文
423 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
kafka_2.9.2-0.8.2.1.tgz 安装 liunx环境 安装jdk vi /etc/profile在末尾追加 JAVA_HOME JRE_HOME PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib source /etc/profile使环境变量立刻生效 安装kafka 解压 tar -xzvf kafka_2.8.0-0.8.1.tgz ;rm kafka_2.8.0-0.8.1.tgz; cd kafka_2.8.0-0.8.1 修改配置 Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改/bin/kafka-run-class.sh文件 KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true" 去除-XX:+UseCompressedOops参数 启动 bin/zookeeper-server-start.sh config/zookeeper.properties & bin/kafka-server-start.sh config/server.properties & 停止 bin/kafka-server-start.sh config/server.properties & bin/zookeeper-server-start.sh config/zookeeper.properties & create a topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 创建单partitions单replication的topic bin/kafka-topics.sh --list --zookeeper localhost:2181 查看topic 查看topic的分区 bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test 启动生产者 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 启动消费者 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning produce启动的时候参数使用的是kafka的端口而consumer启动的时候使用的是zookeeper的端口; 单机连通性能测试 运行producer bin/kafka-console-producer.sh --b

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧