如何通过thrift访问带有kerberos认证的hbase

houwenqiang7 2019-05-24 02:49:54
我现在已经实现C++下通过thrift访问不带认证的hbase，可读可写。但是增加了kerberos认证后，仿照连接带认证的hive的方法进行了尝试，但是总是报错。
GSASL_GSSAPI_INIT_SEC_CONTEXT_ERROR
...全文
353 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
凉一刻 2020-03-27
  • 打赏
  • 举报
 回复
HBase 2.2.x Thrift Server has bug when turn on kerberos, you can try 2.1.x or other old versions.
Hadoop权威指南 第二版(中文版)
内容简介 　　本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。全书共16章，3个附录，涉及的主题包括：Haddoop简介；MapReduce简介；Hadoop分布式文件系统；Hadoop的I/O、MapReduce应用程序开发；MapReduce的工作机制；MapReduce的类型和格式；MapReduce的特性；如何构建Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；Hive简介；ZooKeeper简介；开源工具Sqoop，最后还提供了丰富的案例分析。 　　本书是Hadoop权威参考，程序员可从中探索如何分析海量数据集，管理员可以从中了解如何安装与运行Hadoop集群。 目录 第1章 初识Hadoop 　数据！数据！ 　数据存储与分析 　与其他系统相比 　关系型数据库管理系统 　网格计算 　志愿计算 　1.3.4 Hadoop 发展简史 　Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 　一个气象数据集 　数据的格式 　使用Unix工具进行数据分析 　使用Hadoop分析数据 　map阶段和reduce阶段 　横向扩展 　合并函数 　运行一个分布式的MapReduce作业 　Hadoop的Streaming 　Ruby版本 　Python版本 　Hadoop Pipes 　编译运行 第3章 Hadoop分布式文件系统 　HDFS的设计 　HDFS的概念 　数据块 　namenode和datanode 　命令行接口 　基本文件系统操作 　Hadoop文件系统 　接口 　Java接口 　从Hadoop URL中读取数据 　通过FileSystem API读取数据 　写入数据 　目录 　查询文件系统 　删除数据 　数据流 　文件读取剖析 　文件写入剖析 　一致模型 　通过 distcp并行拷贝 　保持 HDFS 集群的均衡 　Hadoop的归档文件 　使用Hadoop归档文件 　不足 第4章 Hadoop I/O 　数据完整性 　HDFS的数据完整性 　LocalFileSystem 　ChecksumFileSystem 　压缩 　codec 　压缩和输入切分 　在MapReduce中使用压缩 　序列化 　Writable接口 　Writable类 　实现定制的Writable类型 　序列化框架 　Avro 　依据文件的数据结构 　写入SequenceFile 　MapFile 第5章 MapReduce应用开发 　配置API 　合并多个源文件 　可变的扩展 　配置开发环境 　配置管理 　辅助类GenericOptionsParser，Tool和ToolRunner 　编写单元测试 　mapper 　reducer 　本地运行测试数据 　在本地作业运行器上运行作业 　测试驱动程序 　在集群上运行 　打包 　启动作业 　MapReduce的Web界面 　获取结果 　作业调试 　使用远程调试器 　作业调优 　分析任务 　MapReduce的工作流 　将问题分解成MapReduce作业 　运行独立的作业 第6章 MapReduce的工作机制 　剖析MapReduce作业运行机制 　作业的提交 　作业的初始化 　任务的分配 　任务的执行 　进度和状态的更新 　作业的完成 　失败 　任务失败 　tasktracker失败 　jobtracker失败 　作业的调度 　Fair Scheduler 　Capacity Scheduler 　shuffle和排序 　map端 　reduce端 　配置的调优 　任务的执行 　推测式执行 　重用JVM 　跳过坏记录 　任务执行环境 第7章 MapReduce的类型与格式 　MapReduce的类型 　默认的MapReduce作业 　输入格式 　输入分片与记录 　文本输入 　二进制输入 　多种输入 　数据库输入(和输出) 　输出格式 　文本输出 　二进制输出 　多个输出 　延迟输出 　数据库输出 第8章 MapReduce的特性 　计数器 　内置计数器 　用户定义的Java计数器 　用户定义的Streaming计数器 　排序 　准备 　部分排序 　总排序 　二次排序 　联接 　map端联接 　reduce端联接 　边数据分布 　利用JobConf来配置作业 　分布式缓存 　MapReduce库类 第9章 构建Hadoop集群 　集群规范 　网络拓扑 　集群的构建和安装 　安装Java 　创建Hadoop用户 　安装Hadoop 　测试安装 　SSH配置 　Hadoop配置 　配置管理 　环境设置 　Hadoop守护进程的关键属性 　Hadoop守护进程的地址和端口 　Hadoop的其他属性 　创建用户帐号 　安全性 　Kerberos和Hadoop 　委托令牌 　其他安全性改进 　利用基准测试程序测试Hadoop集群 　Hadoop基准测试程序 　用户的作业 　云上的Hadoop 　Amazon EC2上的Hadoop 第10章 管理Hadoop 　HDFS 　永久性数据结构 　安全模式 　日志审计 　工具 　监控 　日志 　度量 　Java管理扩展(JMX) 　维护 　日常管理过程 　委任节点和解除节点 　升级 第11章 Pig简介 　安装与运行Pig 　执行类型 　运行Pig程序 　Grunt 　Pig Latin编辑器 　示例 　生成示例 　与数据库比较 　PigLatin 　结构 　语句 　表达式 　1.4.4 类型 　模式 　函数 　用户自定义函数 　过滤UDF 　计算UDF 　加载UDF 　数据处理操作 　加载和存储数据 　过滤数据 　分组与连接数据 　对数据进行排序 　组合和分割数据 　Pig实战 　并行处理 　参数代换 第12章 Hive 　1.1 安装Hive 　1.1.1 Hive外壳环境 　1.2 示例 　1.3 运行Hive 　1.3.1 配置Hive 　1.3.2 Hive服务 　1.3.3 Metastore 　1.4 和传统数据库进行比较 　1.4.1 读时模式(Schema on Read)vs.写时模式(Schema onWrite) 　1.4.2 更新、事务和索引 　1.5 HiveQL 　1.5.1 数据类型 　1.5.2 操作和函数 　1.6 表 　1.6.1 托管表(Managed Tables)和外部表(External Tables) 　1.6.2 分区(Partitions)和桶(Buckets) 　1.6.3 存储格式 　1.6.4 导入数据 　1.6.5 表的修改 　1.6.6 表的丢弃 　1.7 查询数据 　1.7.1 排序(Sorting)和聚集(Aggregating) 　1.7.2 MapReduce脚本 　1.7.3 连接 　1.7.4 子查询 　1.7.5 视图(view) 　1.8 用户定义函数(User-Defined Functions) 　1.8.1 编写UDF 　1.8.2 编写UDAF 第13章 HBase 　2.1 HBasics 　2.1.1 背景 　2.2 概念 　2.2.1 数据模型的“旋风之旅” 　2.2.2 实现 　2.3 安装 　2.3.1 测试驱动 　2.4 客户机 　2.4.1 Java 　2.4.2 Avro，REST，以及Thrift 　2.5 示例 　2.5.1 模式 　2.5.2 加载数据 　2.5.3 Web查询 　2.6 HBase和RDBMS的比较 　2.6.1 成功的服务 　2.6.2 HBase 　2.6.3 实例：HBase在Streamy.com的使用 　2.7 Praxis 　2.7.1 版本 　2.7.2 HDFS 　2.7.3 用户接口(UI) 　2.7.4 度量(metrics) 　2.7.5 模式设计 　2.7.6 计数器 　2.7.7 批量加载(bulkloading) 第14章 ZooKeeper 　安装和运行ZooKeeper 　示例 　ZooKeeper中的组成员关系 　创建组 　加入组 　列出组成员 　ZooKeeper服务 　数据模型 　操作 　实现 　一致性 　会话 　状态 　使用ZooKeeper来构建应用 　配置服务 　具有可恢复性的ZooKeeper应用 　锁服务 　生产环境中的ZooKeeper 　可恢复性和性能 　配置 第15章 开源工具Sqoop 　获取Sqoop 　一个导入的例子 　生成代码 　其他序列化系统 　深入了解数据库导入 　导入控制 　导入和一致性 　直接模式导入 　使用导入的数据 　导入的数据与Hive 　导入大对象 　执行导出 　深入了解导出 　导出与事务 　导出和SequenceFile 第16章 实例分析 　Hadoop 在Last.fm的应用 　Last.fm：社会音乐史上的革命 　Hadoop a Last.fm 　用Hadoop产生图表 　Track Statistics程序 　总结 　Hadoop和Hive在Facebook的应用 　概要介绍 　Hadoop a Facebook 　假想的使用情况案例 　Hive 　问题与未来工作计划 　Nutch 搜索引擎 　背景介绍 　数据结构 　Nutch系统利用Hadoop进行数据处理的精选实例 　总结 　Rackspace的日志处理 　简史 　选择Hadoop 　收集和存储 　日志的MapReduce模型 　关于Cascading 　字段、元组和管道 　操作 　Tap类，Scheme对象和Flow对象 　Cascading实战 　灵活性 　Hadoop和Cascading在ShareThis的应用 　总结 　在Apache Hadoop上的TB字节数量级排序 　使用Pig和Wukong来探索10亿数量级边的 网络图 　测量社区 　每个人都在和我说话：Twitter回复关系图 　degree(度) 　对称链接 　社区提取 附录A 安装Apache Hadoop 　先决条件 　安装 　配置 　本机模式 　伪分布模式 　全分布模式 附录B Cloudera’s Distribution for Hadoop 附录C 准备NCDC天气数据
Hadoop权威指南（中文版）2015上传.rar
第1章 初识Hadoop 数据！数据！ 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据集 数据的格式 使用Unix工具进行数据分析 使用Hadoop分析数据 map阶段和reduce阶段 横向扩展 合并函数 运行一个分布式的MapReduce作业 Hadoop的Streaming Ruby版本 Python版本 Hadoop Pipes 编译运行 第3章 Hadoop分布式文件系统 HDFS的设计 HDFS的概念 数据块 namenode和datanode 命令行接口 基本文件系统操作 Hadoop文件系统 接口 Java接口 从Hadoop URL中读取数据 通过FileSystem API读取数据 写入数据 目录 查询文件系统 删除数据 数据流 文件读取剖析 文件写入剖析 一致模型 通过 distcp并行拷贝 保持 HDFS 集群的均衡 Hadoop的归档文件 使用Hadoop归档文件 不足 第4章 Hadoop I/O 数据完整性 HDFS的数据完整性 LocalFileSystem ChecksumFileSystem 压缩 codec 压缩和输入切分 在MapReduce中使用压缩 序列化 Writable接口 Writable类 实现定制的Writable类型 序列化框架 Avro 依据文件的数据结构 写入SequenceFile MapFile 第5章 MapReduce应用开发 配置API 合并多个源文件 可变的扩展 配置开发环境 配置管理 辅助类GenericOptionsParser，Tool和ToolRunner 编写单元测试 mapper reducer 本地运行测试数据 在本地作业运行器上运行作业 测试驱动程序 在集群上运行 打包 启动作业 MapReduce的Web界面 获取结果 作业调试 使用远程调试器 作业调优 分析任务 MapReduce的工作流 将问题分解成MapReduce作业 运行独立的作业 第6章 MapReduce的工作机制 剖析MapReduce作业运行机制 作业的提交 作业的初始化 任务的分配 任务的执行 进度和状态的更新 作业的完成 失败 任务失败 tasktracker失败 jobtracker失败 作业的调度 Fair Scheduler Capacity Scheduler shuffle和排序 map端 reduce端 配置的调优 任务的执行 推测式执行 重用JVM 跳过坏记录 任务执行环境 第7章 MapReduce的类型与格式 MapReduce的类型 默认的MapReduce作业 输入格式 输入分片与记录 文本输入 二进制输入 多种输入 数据库输入（和输出） 输出格式 文本输出 二进制输出 多个输出 延迟输出 数据库输出 第8章 MapReduce的特性 计数器 内置计数器 用户定义的Java计数器 用户定义的Streaming计数器 排序 准备 部分排序 总排序 二次排序 联接 map端联接 reduce端联接 边数据分布 利用JobConf来配置作业 分布式缓存 MapReduce库类 第9章 构建Hadoop集群 集群规范 网络拓扑 集群的构建和安装 安装Java 创建Hadoop用户 安装Hadoop 测试安装 SSH配置 Hadoop配置 配置管理 环境设置 Hadoop守护进程的关键属性 Hadoop守护进程的地址和端口 Hadoop的其他属性 创建用户帐号 安全性 Kerberos和Hadoop 委托令牌 其他安全性改进 利用基准测试程序测试Hadoop集群 Hadoop基准测试程序 用户的作业 云上的Hadoop Amazon EC2上的Hadoop 第10章 管理Hadoop HDFS 永久性数据结构 安全模式 日志审计 工具 监控 日志 度量 Java管理扩展（JMX） 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin 结构 语句 表达式 1.4.4 类型 模式 函数 用户自定义函数 过滤UDF 计算UDF 加载UDF 数据处理操作 加载和存储数据 过滤数据 分组与连接数据 对数据进行排序 组合和分割数据 Pig实战 并行处理 参数代换 第12章 Hive 1.1 安装Hive 1.1.1 Hive外壳环境 1.2 示例 1.3 运行Hive 1.3.1 配置Hive 1.3.2 Hive服务 1.3.3 Metastore 1.4 和传统数据
分布式事务管理器tcc-transaction实战加源码分析(纯java实现)
tcc-transaction分布式事务管理器。底层纯java+spring切面实现,tcc-transaction  不和底层使用的rpc框架耦合，也就是使用dubbo,thrift,web service,http等都可。
hadoop_the_definitive_guide_3nd_edition
Hadoop definitive 第三版, 目录如下 1. Meet Hadoop . . . 1 Data! 1 Data Storage and Analysis 3 Comparison with Other Systems 4 RDBMS 4 Grid Computing 6 Volunteer Computing 8 A Brief History of Hadoop 9 Apache Hadoop and the Hadoop Ecosystem 12 Hadoop Releases 13 What’s Covered in this Book 14 Compatibility 15 2. MapReduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 A Weather Dataset 17 Data Format 17 Analyzing the Data with Unix Tools 19 Analyzing the Data with Hadoop 20 Map and Reduce 20 Java MapReduce 22 Scaling Out 30 Data Flow 31 Combiner Functions 34 Running a Distributed MapReduce Job 37 Hadoop Streaming 37 Ruby 37 Python 40 iii www.it-ebooks.info Hadoop Pipes 41 Compiling and Running 42 3. The Hadoop Distributed Filesystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 The Design of HDFS 45 HDFS Concepts 47 Blocks 47 Namenodes and Datanodes 48 HDFS Federation 49 HDFS High-Availability 50 The Command-Line Interface 51 Basic Filesystem Operations 52 Hadoop Filesystems 54 Interfaces 55 The Java Interface 57 Reading Data from a Hadoop URL 57 Reading Data Using the FileSystem API 59 Writing Data 62 Directories 64 Querying the Filesystem 64 Deleting Data 69 Data Flow 69 Anatomy of a File Read 69 Anatomy of a File Write 72 Coherency Model 75 Parallel Copying with distcp 76 Keeping an HDFS Cluster Balanced 78 Hadoop Archives 78 Using Hadoop Archives 79 Limitations 80 4. Hadoop I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 Data Integrity 83 Data Integrity in HDFS 83 LocalFileSystem 84 ChecksumFileSystem 85 Compression 85 Codecs 87 Compression and Input Splits 91 Using Compression in MapReduce 92 Serialization 94 The Writable Interface 95 Writable Classes 98 iv | Table of Contents www.it-ebooks.info Implementing a Custom Writable 105 Serialization Frameworks 110 Avro 112 File-Based Data Structures 132 SequenceFile 132 MapFile 139 5. Developing a MapReduce Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 The Configuration API 146 Combining Resources 147 Variable Expansion 148 Configuring the Development Environment 148 Managing Configuration 148 GenericOptionsParser, Tool, and ToolRunner 151 Writing a Unit Test 154 Mapper 154 Reducer 156 Running Locally on Test Data 157 Running a Job in a Local Job Runner 157 Testing the Driver 161 Running on a Cluster 162 Packaging 162 Launching a Job 162 The MapReduce Web UI 164 Retrieving the Results 167 Debugging a Job 169 Hadoop Logs 173 Remote Debugging 175 Tuning a Job 176 Profiling Tasks 177 MapReduce Workflows 180 Decomposing a Problem into MapReduce Jobs 180 JobControl 182 Apache Oozie 182 6. How MapReduce Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 Anatomy of a MapReduce Job Run 187 Classic MapReduce (MapReduce 1) 188 YARN (MapReduce 2) 194 Failures 200 Failures in Classic MapReduce 200 Failures in YARN 202 Job Scheduling 204 Table of Contents | v www.it-ebooks.info The Fair Scheduler 205 The Capacity Scheduler 205 Shuffle and Sort 205 The Map Side 206 The Reduce Side 207 Configuration Tuning 209 Task Execution 212 The Task Execution Environment 212 Speculative Execution 213 Output Committers 215 Task JVM Reuse 216 Skipping Bad Records 217 7. MapReduce Types and Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 MapReduce Types 221 The Default MapReduce Job 225 Input Formats 232 Input Splits and Records 232 Text Input 243 Binary Input 247 Multiple Inputs 248 Database Input (and Output) 249 Output Formats 249 Text Output 250 Binary Output 251 Multiple Outputs 251 Lazy Output 255 Database Output 256 8. MapReduce Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 Counters 257 Built-in Counters 257 User-Defined Java Counters 262 User-Defined Streaming Counters 266 Sorting 266 Preparation 266 Partial Sort 268 Total Sort 272 Secondary Sort 276 Joins 281 Map-Side Joins 282 Reduce-Side Joins 284 Side Data Distribution 287 vi | Table of Contents www.it-ebooks.info Using the Job Configuration 287 Distributed Cache 288 MapReduce Library Classes 294 9. Setting Up a Hadoop Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295 Cluster Specification 295 Network Topology 297 Cluster Setup and Installation 299 Installing Java 300 Creating a Hadoop User 300 Installing Hadoop 300 Testing the Installation 301 SSH Configuration 301 Hadoop Configuration 302 Configuration Management 303 Environment Settings 305 Important Hadoop Daemon Properties 309 Hadoop Daemon Addresses and Ports 314 Other Hadoop Properties 315 User Account Creation 318 YARN Configuration 318 Important YARN Daemon Properties 319 YARN Daemon Addresses and Ports 322 Security 323 Kerberos and Hadoop 324 Delegation Tokens 326 Other Security Enhancements 327 Benchmarking a Hadoop Cluster 329 Hadoop Benchmarks 329 User Jobs 331 Hadoop in the Cloud 332 Hadoop on Amazon EC2 332 10. Administering Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337 HDFS 337 Persistent Data Structures 337 Safe Mode 342 Audit Logging 344 Tools 344 Monitoring 349 Logging 349 Metrics 350 Java Management Extensions 353 Table of Contents | vii www.it-ebooks.info Maintenance 355 Routine Administration Procedures 355 Commissioning and Decommissioning Nodes 357 Upgrades 360 11. Pig . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 Installing and Running Pig 366 Execution Types 366 Running Pig Programs 368 Grunt 368 Pig Latin Editors 369 An Example 369 Generating Examples 371 Comparison with Databases 372 Pig Latin 373 Structure 373 Statements 375 Expressions 379 Types 380 Schemas 382 Functions 386 Macros 388 User-Defined Functions 389 A Filter UDF 389 An Eval UDF 392 A Load UDF 394 Data Processing Operators 397 Loading and Storing Data 397 Filtering Data 397 Grouping and Joining Data 400 Sorting Data 405 Combining and Splitting Data 406 Pig in Practice 407 Parallelism 407 Parameter Substitution 408 12. Hive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411 Installing Hive 412 The Hive Shell 413 An Example 414 Running Hive 415 Configuring Hive 415 Hive Services 417 viii | Table of Contents www.it-ebooks.info The Metastore 419 Comparison with Traditional Databases 421 Schema on Read Versus Schema on Write 421 Updates, Transactions, and Indexes 422 HiveQL 422 Data Types 424 Operators and Functions 426 Tables 427 Managed Tables and External Tables 427 Partitions and Buckets 429 Storage Formats 433 Importing Data 438 Altering Tables 440 Dropping Tables 441 Querying Data 441 Sorting and Aggregating 441 MapReduce Scripts 442 Joins 443 Subqueries 446 Views 447 User-Defined Functions 448 Writing a UDF 449 Writing a UDAF 451 13. HBase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457 HBasics 457 Backdrop 458 Concepts 458 Whirlwind Tour of the Data Model 458 Implementation 459 Installation 462 Test Drive 463 Clients 465 Java 465 Avro, REST, and Thrift 468 Example 469 Schemas 470 Loading Data 471 Web Queries 474 HBase Versus RDBMS 477 Successful Service 478 HBase 479 Use Case: HBase at Streamy.com 479 Table of Contents | ix www.it-ebooks.info Praxis 481 Versions 481 HDFS 482 UI 483 Metrics 483 Schema Design 483 Counters 484 Bulk Load 484 14. ZooKeeper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487 Installing and Running ZooKeeper 488 An Example 490 Group Membership in ZooKeeper 490 Creating the Group 491 Joining a Group 493 Listing Members in a Group 494 Deleting a Group 496 The ZooKeeper Service 497 Data Model 497 Operations 499 Implementation 503 Consistency 505 Sessions 507 States 509 Building Applications with ZooKeeper 510 A Configuration Service 510 The Resilient ZooKeeper Application 513 A Lock Service 517 More Distributed Data Structures and Protocols 519 ZooKeeper in Production 520 Resilience and Performance 521 Configuration 522 15. Sqoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525 Getting Sqoop 525 A Sample Import 527 Generated Code 530 Additional Serialization Systems 531 Database Imports: A Deeper Look 531 Controlling the Import 534 Imports and Consistency 534 Direct-mode Imports 534 Working with Imported Data 535 x | Table of Contents www.it-ebooks.info Imported Data and Hive 536 Importing Large Objects 538 Performing an Export 540 Exports: A Deeper Look 541 Exports and Transactionality 543 Exports and SequenceFiles 543 16. Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545 Hadoop Usage at Last.fm 545 Last.fm: The Social Music Revolution 545 Hadoop at Last.fm 545 Generating Charts with Hadoop 546 The Track Statistics Program 547 Summary 554 Hadoop and Hive at Facebook 554 Introduction 554 Hadoop at Facebook 554 Hypothetical Use Case Studies 557 Hive 560 Problems and Future Work 564 Nutch Search Engine 565 Background 565 Data Structures 566 Selected Examples of Hadoop Data Processing in Nutch 569 Summary 578 Log Processing at Rackspace 579 Requirements/The Problem 579 Brief History 580 Choosing Hadoop 580 Collection and Storage 580 MapReduce for Logs 581 Cascading 587 Fields, Tuples, and Pipes 588 Operations 590 Taps, Schemes, and Flows 592 Cascading in Practice 593 Flexibility 596 Hadoop and Cascading at ShareThis 597 Summary 600 TeraByte Sort on Apache Hadoop 601 Using Pig and Wukong to Explore Billion-edge Network Graphs 604 Measuring Community 606 Everybody’s Talkin’ at Me: The Twitter Reply Graph 606 Table of Contents | xi www.it-ebooks.info Symmetric Links 609 Community Extraction 610 A. Installing Apache Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613 B. Cloudera’s Distribution for Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 619 C. Preparing the NCDC Weather Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621
python连接hbase 带kerberos_配置kerberos后Hbase连接以及出现的GSSException
与hive类似，Hbase的连接可以使用命令行和Java API，另外Hbase还可以使用thrift和rest进行连接。命令行在使用hbase shell命令打开hbase交互界面之前使用kinit命令进行认证即可。HBase native APIs同hive连接一样，http://192.168.2.206:8090/x/ZIAU，需添加hadoop.security.authenticati...
Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章