hbase怎么存储非结构化数据？

ld5128702 2014-12-15 02:58:12

结构化数据已经知道是怎么在hbase上存储了。那么，我想问一下，像图片，视频等非结构化数据是怎么在hbase上存储的。我百度了一下，没找到什么例子，资料。hbase不是非结构化数据的存储吗？可为什么基本没资料呢？有一点资料也是说hbase存储图片等有缺陷。那么，生产环境中是怎么存储这些非结构化数据的呢？求例子啊。求大神指点

...全文

3559 6 打赏收藏转发到动态举报

写回复

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

cakafuni 2016-07-24

打赏
举报

回复

深入浅出Hadoop实战开发(升级版) http://pan.baidu.com/s/1dEVLSOx 密码：lh17

ld5128702 2014-12-19

打赏
举报

回复

我知道存入二进制是一样的，我看网上的资料，对于图片这种二进制数据，频繁的split和compaction会导致系能的下降等等问题。还有就是将图片存在hdfs上，hbase存储相关的结构化数据信息。但是又会产生大量小文件。现在对于hbase存储图片等数据，以及hdfs的小文件有没有完美的解决方案呢？

少主无翼 2014-12-15

打赏
举报

回复

是呀，对于hbase来说，什么结构化非结构化都一样，反正是以二进制保存的，存进去什么样，hbase保证你读出来什么样，至于你怎么使用读出来的数据就是你自己的事了，按逗号分隔也好，按冒号分隔也好，自己觉得

yinzhaohui 2014-12-15

打赏
举报

回复

直接使用二进制的方式存入就可以了

skyWalker_ONLY 2014-12-15

打赏
举报

回复 4

楼主对于非结构化数据的理解有点问题，非结构化数据不是指的图片或者视频之类的，而是文件中的内容是没有固定格式的，比如一行有8个字段，之间用逗号分隔，而另一行有6个字段，用空格分隔等。图片如果存储在hadoop中的话，由于图片太小会导致NameNode是元数据过多，如果想在hbase中存储图片或者视屏的话，可以存储二者的hdfs路径，取到后再获取文件

Hbase2.2.4安装包，HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

高清英文PDF版。如果你正在寻找一种具备可伸缩性的存储解决方案来适应几乎没有穷尽的数据的话，这本书将可以向你表明apache hbase完全能够满足你的需求。作为google bigtable架构的开源实现，hbase能够支持数以十亿计的记录数和数以百万计的字段，与此同时它还能够保证常量级的读写性能。很多it管理层正在质疑hbase。而这本书提供了很多有意义的答案，无论你是否正在评估这种非关系型数据库或者正试图立刻把它付诸实践。　　 ■探讨与hadoop的高度集成如何使hbase的可伸缩性变得简单　　 ■把大型数据集分布到相对廉价的商业服务器集群中　　 ■使用本地java客户端，或者通过提供了rest、avro和thrift应用编程接口的网关服务器来访问hbase 　　 ■了解hbase架构的细节，包括存储格式、预写日志、后台进程等等　　 ■在hbase中集成用于海量并行数据处理任务的hadoop的mapreduce框架　　 ■了解如何调节集群、设计模式、拷贝表、导入批量数据、删除节点以及其他更多的任务

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

Hadoop生态社区

20,846

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章