社区
Hadoop生态社区
帖子详情
关于ZooKeeper的写性能问题
7zkeeper
2015-03-03 12:01:09
如果利用zookeeper来实现分布式监控系统,由于场景的写操作压力很大,也无法通过增加机器来缓解写的压力,那么zookeeper在监控几百,甚至几k物理节点数据的时候,写性能问题如何解决呢
也就是说zookeeper在支持高并发方面,以写为主,有没有成功案例和测试数据
...全文
522
2
打赏
收藏
关于ZooKeeper的写性能问题
如果利用zookeeper来实现分布式监控系统,由于场景的写操作压力很大,也无法通过增加机器来缓解写的压力,那么zookeeper在监控几百,甚至几k物理节点数据的时候,写性能问题如何解决呢 也就是说zookeeper在支持高并发方面,以写为主,有没有成功案例和测试数据
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
程序员银时
2015-03-04
打赏
举报
回复
这边有一个性能测试,可以简单参考下:
http://jm-blog.aliapp.com/?p=1070
你说的场景,关于监控几百,甚至几k物理节点数据,这个场景,就几k物理节点而言,并不是特别大的,主要要明确监控过程中对zookeeper写操作的程度。
7zkeeper
2015-03-04
打赏
举报
回复
两个维度,一个是监控的物理节点的个数,暂定为2k左右 一个是频率,采集频率可以预设为5秒左右 例如: 监控节点数量NC 每个监控节点下的监控指标数量IC 每个指标的更新频率ups 那么大致的总tps = NC * IC * ups 假设 NC = 2000, IC=10,ups = 0.2即每5秒 更新一次 则, total_tps = 2000*10 *0.2 = 4000 每条监控数据的长度大致1-2k之间
Zookeeper
读
写
性能
测试
关于
Zookeeper
,之前有过几篇文章已经介绍过了,因此本文不赘述。 本次小编对单机部署的
Zookeeper
的读、
写
进行了一次简单
性能
测试。
性能
测试脚本由java完成,具体请看代码清单: package com.kiven.test; import java.util.List; import java.util.concurrent.Count...
Zookeeper
学习系列【三】
Zookeeper
集群架构、读
写
机制以及一致性原理(ZAB协议)
前言 同学们,在上一章中,我们主要讲了
Zookeeper
两种启动模式以及具体如何搭建。本章内容主要讲的是集群相关的原理内容,第一章可以当做是
Zookeeper
原理篇的基础部分,本章则是
Zookeeper
原理篇进阶部分,有关于
Zookeeper
集群的读
写
机制、ZAB协议的知识解析。 本篇的内容主要包含以下几点:
Zookeeper
集群架构
Zookeeper
读
写
机制 ZAB协议 关于
Zookeeper
集群的一些其他讨论
Zookeeper
(读
性能
)可伸缩性 和 Observer节点 Z
ZooKeeper
的一个
性能
测试
2011-07-15 18:07:00 3台
ZooKeeper
服务器。8核64位jdk1.6;log和snapshot放在不同磁盘 场景一 同一个目录下,先createEPHEMERALnode,再delete;create和delete各计一次更新。没有订阅。 一个进程开多个连接,每个连接绑定一个线程,在多个path下做上述操作;不同的连接操作的path不同 测试结果数据汇总如下: d...
ZooKeeper
性能
测试
1.背景 2.环境 操作系统:CentOS7.8
Zookeeper
:v3.6.3 3.环境搭建 官网的python-dev是Ubuntu中的lib,在CentOS中为python-devel 安装zkpython 4.测试 执行 PYTHONPATH=lib.linux-x86_64-2.6 LD_LIBRARY_PATH=lib.linux-x86_64-2.6 ./zk-latencies.py --servers "host1:port,host2:port,host3:p
一文解析
ZooKeeper
—
ZooKeeper
特性及
ZooKeeper
到底解决了什么
问题
目标
ZooKeeper
很流行,有个基本的疑问:
ZooKeeper
是用来做什么的? 之前没有ZK,为什么会诞生 ZK? OK,解答一下上面的疑问:(下面是凭直觉说的)
ZooKeeper
是用于简化分布式应用开发的,对开发者屏蔽一些分布式应用开发过程中的底层细节
ZooKeeper
对外暴露简单的 API,用于支持分布式应用开发
ZooKeeper
在提供上述功能的同时,其还是一个 高
性能
、高可用、高可靠的分布式集群 上面说这么多,总结一下,ZK 能解决分布式应用开发的
问题
,ZK 能很好的解决
Hadoop生态社区
20,807
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章