关于HDFS文件系统读取文件的问题，Protocol message contained an invalid tag (zero)

ctmsaka 2017-06-21 09:52:31

目前有个需求，公司程序输出一些文件，需要解析校验内容

文件内容是

当前遇到的问题：解析代码已写好，windows调试通过，linux调试失败
定位：通过FileSystem.open("文件"),获取文件流之后，直接read(byte[length])文件，在文件中某一块数据read出来的内容有部分丢失，并未到达文件尾部。
假如byte[100]，只读取了50个，另外50个字节都是0

文件内容是通过protocol工具序列化了的，
解析这一段数据会直接报错，Protocol message contained an invalid tag (zero)

有大牛能给点提示吗。

...全文

1813 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

beyondSelf 2017-09-04

打赏
举报

回复

同求，我在eclipse下没问题，打成jar之后报同样的问题

ctmsaka 2017-06-21

打赏
举报

回复

跪求大牛指点

caibinbupt的Hadoop源码分析完整版，包括 HDFS 和 MapReduce。 HDFS: 41章 MapReduce: 14章

在本地调试连接hdfs进行写文件操作，连接异常。 java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : ...

使用Spark读取HDFS文件时没有什么问题，只要把读取的路径设置为HDFS文件系统中文件的位置即可，可是在读取本地文件时(比如读取E:/file/user.json，E盘中的user.json文件时却总是报错)。先展示正确的操作方法， import org.apache.spark.sql.{SQLContext, SparkSession} object ReadJson { //Spark SQL读取json文件 def main(args: Array[String]): Unit = {

前言在上一篇，我们通过命令行的使用掌握了如何基于hdfs的命令对hdfs文件系统的常用操作，本篇将分享如何基于JavaAPI 操作hdfs文件系统 前置准备默认服务器上的hadoop服务已经启动本地如果是windows环境，需要本地配置下hadoop的环境变量本地配置hadoop的环境变量 1、官网下载一个与服务器上的hadoop同样的版本包 2、将这个路径配置到系统变量中编码环境前置准备使用idea快速构建一个springoot的工程 1、导入maven依赖 <depende

导语 Hadoop中附带了一个HDFS（Hadoop分布式文件系统）的分布式文件系统，专门用来存储超级大文件使用，它为整个的Hadoop应用生态圈提供了基础的文件存储功能。文档目录HDFS 特点不适用HDFS的场景HDFS体系结构HDFS数据块复制HDFS读取和写入流程文件读取详细操作 HDFS 特点 HDFS专门是为了解决大数据存储问题而出现的，它具备如下的几个特点 1、HDFS文件系统可以存储超大文件在我们实际应用中，每个磁盘都有自己默认的数据块的大小，这也是磁盘对数据读写的时候要求.

51,412

社区成员

85,987

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章