Flume想HDFS写入数据报ERROR:RPC connect refused

fengzibs 2017-10-13 10:39:04

配置文件如下：

虚拟机防火墙已经关闭，向logger中写入数据没有问题，每次向hdfs中写入数据的时候都会报出

log4j:ERROR RPC client creation failed! NettyAvroRpcClient { host: 192.168.73.133 , port: 44442 }: RPC connection error

这个异常，求助，问题困扰了5天了

...全文

1163 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

tianfang 2017-10-19

打赏
举报

回复 1

你配置文件是44444 端口，访问44442端口

先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足趟了不少雷，记录下来希望可以帮到更多的人。错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应...

文章目录第1章概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent 第1章概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 1.2 Flume组成架构 Flume组成架构如图1-1，图1-2所示：下面我们来详细介绍一下Flume架构中的组件。 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的，是Flume数据传输的基本单元

Flume详解一 Flume配置环境配置验证二 Flume测试1、nc2、Netcat Source-Memory Channel-Logger Sink3、Exec Source-File Channel-Logger Sink4、Spooling Directory Source-File Channel-Logger Sink5、Spooling Directory Source-File Channel-HDFS Sink 一 Flume配置环境配置解压重命名为flume160 进入flume

1、Apache HBase Hbase简介 1.2、HBase逻辑结构 1.3、HBase物理存储结构 1）Name Space：命名空间，类似于关系型数据库的database概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间； 2）Table：类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往HBase写入数据时，

一、CentOS安装 1.1 用Hyper-V安装CentOS7 CentOS镜像：CentOS-7-x86_64-DVD-2009 下载地址：http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AmkIeAUV-1628732364992)(/Users/neon/Library/Application Support/typora-user-images/image-2

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章