zookeeper连接是不是指的Hbase的follower节点的连接？

恩佐小师傅 2016-06-23 10:23:05

...全文

714 3 打赏收藏转发到动态举报

写回复

用AI写文章

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

SongDongmei 2016-07-11

打赏
举报

一般是指hbase（或者其他软件）节点（也是zookeeper客户端）到zookeeper的连接。在zoo.cfg中可以配置连接数、连接超时时间等。

Oraclefans_ 2016-06-27

打赏
举报

客户机和zk服务器连接？跟随者和领导者的连接？领导者和跟随者的连接？

chyanch 2016-06-23

打赏
举报

专指zookeepr 还是 hbase ＋外置zookeeper 的拓扑，没太明白你的问题？

ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务，它是Google的Chubby的一个开源实现，同时也是Hadoop和Hbase的重要组件。ZooKeeper的目标是封装分布式系统中复杂且易出错的关键服务，提供简单易用的接口和性能高效、功能稳定的系统给用户。 ZooKeeper为分布式应用提供了诸多功能，包括配置维护、域名服务、分布式同步、组服务等。它通过一个共享的类似于文件系统的命名空间来实现分布式系统的协调功能。此外，ZooKeeper提供了一系列简单的原子操作，分布式系统可以使用这些操作来实现上层的服务。 ZooKeeper在分布式系统中有以下特点和功能：顺序一致性：从同一个客户端发起的事务请求，最终将严格按照发起顺序应用到ZooKeeper中。原子性：所有事务请求的处理结果在整个集群中的所有机器上应用情况是一致的。集群角色：ZooKeeper支持多种集群模式，其中最典型的模式是Master/Slave模式（主备模式）。在这个模式下，有一个节点作为Leader，其他节点则作为Follower。半数机制：ZooKeeper适合安装奇数台服务器。

什么是Zookeeper Zookeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以单机模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个Leader，多个Follower），基于一定的策略来保证ZooKeeper集群的稳定性和可用性，从而实现分布式应用的可靠性。 1、Zookeeper是为别的分布式程序服务的 2、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） 3、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统> 一名称服务等 4、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能：管理(存储，读取)用户程序提交的数据（类似namenode中存放的metadata）；并为用户程序提供数据节点监听服务； Zookeeper集群机制 Zookeeper集群的角色： Leader 和 follower 只要集群中有半数以上节点存活，集群就能提供服务 Zookeeper特性 1、Zookeeper：一个leader，多个follower组成的集群 2、全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的 3、分布式读写，更新请求转发，由leader实施 4、更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行 5、数据更新原子性，一次数据更新要么成功，要么失败 6、实时性，在一定时间范围内，client能读到最新数据 Zookeeper数据结构 1、层次化的目录结构，命名符合常规文件系统规范(类似文件系统） 2、每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识 3、节点Znode可以包含数据和子节点（但是EPHEMERAL类型的节点不能有子节点）节点类型 a、Znode有两种类型：短暂（ephemeral）（create -e /app1/test1 “test1” 客户端断开连接zk删除ephemeral类型节点）持久（persistent）（create -s /app1/test2 “test2” 客户端断开连接zk不删除persistent类型节点） b、Znode有四种形式的目录节点（默认是persistent ） PERSISTENT PERSISTENT_SEQUENTIAL（持久序列/test0000000019 ） EPHEMERAL EPHEMERAL_SEQUENTIAL c、创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护 d、在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序 Zookeeper应用场景数据发布与订阅（配置中心）发布与订阅模型，即所谓的配置中心，顾名思义就是发布者将数据发布到ZK节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。负载均衡这里说的负载均衡是指软负载均衡。在分布式环境中，为了保证高可用性，通常同一个应用或同一个服务的提供方都会部署多份，达到对等服务。而消费者就须要在这些对等的服务器中选择一个来执行相关的业务逻辑，其中比较典型的是消息中间件中的生产者，消费者负载均衡。消息中间件中发布者和订阅者的负载均衡，linkedin开源的KafkaMQ和阿里开源的 metaq都是通过zookeeper来做到生产者、消费者的负载均衡。这里以metaq为例如讲下：生产者负载均衡：metaq发送消息的时候，生产者在发送消息的时候必须选择一台broker上的一个分区来发送消息，因此metaq在运行过程中，会把所有broker和对应的分区信息全部注册到ZK指定节点上，默认的策略是一个依次轮询的过程，生产者在通过ZK获取分区列表之后，会按照brokerId和partition的顺序排列组织成一个有序的分区列表，发送的时候按照从头到尾循环往复的方式选择一个分区来发送消息。消费负载均衡：在消费过程中，一个消费者会消费一个或多个分区

1.zookeeper介绍、安装方式和应用场景2.zookeeper的单机安装和配置文件介绍3.zookeeper的集群安装4.zookeeper的数据结构、节点类型、数据持久化5.zookeeper命令行相关操作6.zookeeper的基本特性、watch监听和会话概念7.zookeeper的watch监听机制实战演示8.zookeeper中三种角色、Zab协议(崩溃选举和数据同步）9.zookeeper中锁的种类、读锁、写锁和羊群效应10.CAP的三个概念和CAP理论11.zookeeper集群节点为什么是奇数台12.zookeeper中常见的面试题

4399⼤数据笔试题今天晚上参加了厦门今天晚上参加了厦门4399公司的⼤数据笔试，⾃⼰没有拍下题⽬，⼀下是根据⾃⼰在草稿纸上简要记录回忆下公司的⼤数据笔试，⾃⼰没有拍下题⽬，⼀下是根据⾃⼰在草稿纸上简要记录回忆下写出来的，具体的选项记不起来，⼤体题⽬在下⾯，欢迎⼤家给出⾃⼰的见解答案写出来的，具体的选项记不起来，⼤体题⽬在下⾯，欢迎⼤家给出⾃⼰的见解答案⼀、选择题⼀、选择题 1.四个⼟豪在⼀次聚会中⽐拼财产的逻辑推理题。 A：四个⼈中，B最富。 B：四个⼈中，C最富。 C：我不是最富有的。 D：C⽐我富，A⽐C富。已知，其中只有⼀个⼈在说假话。请问：四个⼈中谁最富?从最富到最不富的顺序应该怎么排? 答案：A、B两⼈的答案不同，所以⼀定有⼀个⼈在说谎。也就是说，C和D说的都是实话。所以，C不是最富的，也就是说B说的是假话。这样可以得到顺序为：B、A、C、D。 2.与HDFS类似的框架有哪些？ 3.下⾯哪⼀个程序与NameNode在⼀个节点上启动？ A. SecondaryNameNode B. DataNode C. TaskTracker D. JobTracker 答案：A 4.哪个是RDD的窄依赖？ 5.HBase的RowKey的设计原则是什么？ 6.HBase的存储底层是什么？答案：HBase中的所有数据⽂件都存储在Hadoop HDFS⽂件系统上，主要包括上述提出的两种⽂件类型： HFile，HBase中KeyValue数据的存储格式，HFile是Hadoop的⼆进制格式⽂件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile HLog File，HBase中WAL（Write Ahead Log）的存储格式，物理上是Hadoop的Sequence File 7.Scala语⾔的闭包描述哪⼀项不是正确的？ 8.Kafka⾼吞吐的原因？答案：顺序读写磁盘，充分利⽤了操作系统的预读机制。 linux中使⽤sendfile命令，减少⼀次数据拷贝，如下：把数据从硬盘读取到内核中的页缓存。把数据从内核中读取到⽤户空间。(sendfile命令将跳过此步骤) 把⽤户空间中的数据写到socket缓冲区中。操作系统将数据从socket缓冲区中复制到⽹卡缓冲区，以便将数据经⽹络发出⽣产者客户端缓存消息批量发送，消费者批量从broker获取消息，减少⽹络io次数，充分利⽤磁盘顺序读写的性能。通常情况下kafka的瓶颈不是cpu或者磁盘，⽽是⽹络带宽，所以⽣产者可以对数据进⾏压缩。 9.ZooKeeper的⾓⾊是什么？答案： Leader ⾓⾊ Leader 服务器是整个zookeeper 集群的核⼼，主要的⼯作任务有两项：事物请求的唯⼀调度和处理者，保证集群事物处理的顺序性。集群内部各服务器的调度者。 Follower ⾓⾊ Follower ⾓⾊的主要职责是：处理客户端⾮事物请求、转发事物请求给leader服务器。参与事物请求Proposal的投票（Leader发起的提案，要求 Follower投票，需要半数以上follower节点通过，leader才会 commit数据）。参与Leader选举的投票。 Observer ⾓⾊ Observer 是 zookeeper3.3 开始引⼊的⼀个全新的服务器⾓⾊，从字⾯来理解，该⾓⾊充当了观察者的⾓⾊。观察 zookeeper 集群中的最新状态变化并将这些状态变化同步到 observer 服务器上。Observer 的⼯作原理与 follower ⾓⾊基本⼀致，⽽它和 follower ⾓⾊唯⼀的不同在于 observer 不参与任何形式的投票，包括事务请求Proposal的投票和leader选举的投票。简单来说，observer服务器只提供⾮事物请求服务，通常在于不影响集群事务处理能⼒的前提下提升集群⾮事物处理的能⼒。 10.Spark Stage的数量有什么决定？答案：Partition ⼆、填空题⼆、填空题 1.Spark的三种部署模式？ 2.RDD有哪些缓存机制？ 3.RDD类型有⼏种？每⼀种有哪些操作？ 4.map和flatMap的区别是什么？ 5.RDD的依赖⽅式？ 6.有存储在Hive上的⼀张pay_log表 ser_name pay_money pay_date 1)使⽤SQL语句查询消费总额、消费总次数、消费最⼤的⾦额、消费最⼤的⾦额 2)使⽤SQL语句每⼀天当天消费的总⾦额 3)使⽤SQL语句对消费⾦额进⾏排名（⽤rank()） 4)使⽤SQL语句查询充值⾦额集合（⽤collect_set()） 7.HDFS block的默认值是多少？机架感知配置下分别存放在什么位置？ 8

Hadoop、ZooKeeper、Hive、HBase 七节点分布式集群搭建一、系统版本及相关软件: CentOS6.7 64位 2.6.32-573.el6.x86_64，选择安装时为mini选项,不安装图形界面 hadoop-2.7.1.tar.gz jdk-7u79-linux-x64.tar.gz zookeeper-3.4.9.tar.gz apache-hive-2

Power Linux

742

社区成员

901

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章