LMDB格式文件在HDFS上的使用问题

qq_42728890 2018-07-18 04:05:39
请各位大神帮忙看下，Caffe生成了1.2T左右的LMDB文件直接到HDFS上，报bus error(core dumped)的错误；然后尝试生成了4个小的LMDB文件到本地目录，然后传到HDFS上面，再通过Python脚本来合成这些LMDB文件，依然还是报bus error(core dumped)的错误。据我所知LMDB应该是随机写入，是不太支持分布式储存吗？因为本地硬盘也不能扩容，不知道还有什么方法可以生成大Size的LMDB文件到HDFS上。多谢
...全文
329 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
第二章：大数据文件系统之HDFS
1.HDFS原理与架构说明2.HDFS的namenode和datanode3.HDFS缓存机制(Cache)4.HDFS快照(Snapshot)5.HDFS命令行操作6.HDFS的Java API编程7.HDFS Web HDFS API编程实践 8.HDFS企业级项目实战：某企业微博数据分析平台数据存储模块设计与实现
hadoop学习笔记（七）：HDFS文件的读写流程
一、HDFS读取文件流程： 二、HDFS文件写入流程： 回到顶部 一、HDFS读取文件流程： 详解读取流程： Client调用FileSystem.open()方法： 　1 FileSystem通过RPC与NN通信，NN返回该文件的部分或全部block列表...
二、hdfs介绍
组成：hdfs、yarn、mapreduce hdfs存储 yarn资源分配 mr数据计算任务 hdfs产生： hdfs的优缺点 hdfs的架构 hdfs的存储单元
存储系统的分类
建立在Apache Thrift framework下的简单服务 支持多个数据存储后端，包括BerkeleyDB、Disk、MySQL,还拥有Memcache和Spread集成 http://code.google.com/p/thrudb/ Thrudb is a set of simple ...
Caffe中使用HDF5制作多标签数据
在Caffe中，如果使用LMDB数据格式的话，默认是只支持“图像+整数单标签”这种形式的数据的。如果训练网络需要一些其他形式的数据或标签（如浮点数据，多标签等等），可以将其制作成HDF5格式。PS：HDF5数据格式比较...
机器视觉

4,446

社区成员

15,335

社区内容

发帖
与我相关
我的任务
社区描述
图形图像/机器视觉
社区管理员
  • 机器视觉
  • 迪菲赫尔曼
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章