Flume想HDFS写入数据报ERROR:RPC connect refused

fengzibs 2017-10-13 10:39:04

配置文件如下：

虚拟机防火墙已经关闭，向logger中写入数据没有问题，每次向hdfs中写入数据的时候都会报出

log4j:ERROR RPC client creation failed! NettyAvroRpcClient { host: 192.168.73.133 , port: 44442 }: RPC connection error

这个异常，求助，问题困扰了5天了

...全文

1162 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

tianfang 2017-10-19

打赏
举报

回复 1

你配置文件是44444 端口，访问44442端口

错误如下： org.apache.flume.FlumeException: NettyAvroRpcClient { host: xxx.xxx.xxx.xxx, port: xxxxx }: RPC 根本原因：当前启动的这个flume-agent无法连接这个（host:port）的服务。解决：使用netstat -tunlp|grep xxxxx查看当前这个端口号是否被监控。如果没有被监...

Flume写入HDFS后的诸多小文件问题

flume配置： kafka source + memory channel + HDFS sink 配置内容： ################################################################################ ###### list the sources, sinks, channels for the agent

使用Flume的HDFS Sink，将log文件中的数据写入HDFS，进到UI发现产生了大量的小文件，每个小文件都是1K多，而占一个128M的block。解决：关键是以下三个关键变量的配置，如果要按照某一项来，比如rollSize，则其他两项设为0。 Name Default Description hdfs.rollInterval 30 滚动当前文件前等待的秒数 ( 设为0 =从不根据时间间隔滚动 ) hdfs.rollSize 1024 触发滚动的文件大小，以字节为单位.

案例：监听/home/data文件夹此案例前提：hadoop已经搭建完成（可用伪分布式）启动hadoop：start-all.sh 1.在/home/software/flume-1.9.0/job/目录下创建hdfs.template.conf并配置如下信息： a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/config...

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章