社区
Hadoop生态社区
帖子详情
hbase怎么存储非结构化数据?
ld5128702
2014-12-15 02:58:12
结构化数据已经知道是怎么在hbase上存储了。那么,我想问一下,像图片,视频等非结构化数据是怎么在hbase上存储的。我百度了一下,没找到什么例子,资料。hbase不是非结构化数据的存储吗?可为什么基本没资料呢?有一点资料也是说hbase存储图片等有缺陷。那么,生产环境中是怎么存储这些非结构化数据的呢?求例子啊。求大神指点
...全文
3516
6
打赏
收藏
hbase怎么存储非结构化数据?
结构化数据已经知道是怎么在hbase上存储了。那么,我想问一下,像图片,视频等非结构化数据是怎么在hbase上存储的。我百度了一下,没找到什么例子,资料。hbase不是非结构化数据的存储吗?可为什么基本没资料呢?有一点资料也是说hbase存储图片等有缺陷。那么,生产环境中是怎么存储这些非结构化数据的呢?求例子啊。求大神指点
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
cakafuni
2016-07-24
打赏
举报
回复
深入浅出Hadoop实战开发(升级版)
http://pan.baidu.com/s/1dEVLSOx
密码:lh17
ld5128702
2014-12-19
打赏
举报
回复
我知道存入二进制是一样的,我看网上的资料,对于图片这种二进制数据,频繁的split和compaction会导致系能的下降等等问题。还有就是将图片存在hdfs上,hbase存储相关的结构化数据信息。但是又会产生大量小文件。现在对于hbase存储图片等数据,以及hdfs的小文件有没有完美的解决方案呢?
少主无翼
2014-12-15
打赏
举报
回复
是呀,对于hbase来说,什么结构化非结构化都一样,反正是以二进制保存的,存进去什么样,hbase保证你读出来什么样,至于你怎么使用读出来的数据就是你自己的事了,按逗号分隔也好,按冒号分隔也好,自己觉得
yinzhaohui
2014-12-15
打赏
举报
回复
直接使用二进制的方式存入就可以了
skyWalker_ONLY
2014-12-15
打赏
举报
回复
4
楼主对于非结构化数据的理解有点问题,非结构化数据不是指的图片或者视频之类的,而是文件中的内容是没有固定格式的,比如一行有8个字段,之间用逗号分隔,而另一行有6个字段,用空格分隔等。图片如果存储在hadoop中的话,由于图片太小会导致NameNode是元数据过多,如果想在hbase中存储图片或者视屏的话,可以存储二者的hdfs路径,取到后再获取文件
Hbase
2.2.4.rar
Hbase
2.2.4安装包,
HBase
是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个
结构化数据
的分布式
存储
系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据
存储
一样,
HBase
在Hadoop之上提供了类似于Bigtable的能力。
HBase
是Apache的Hadoop项目的子项目。
HBase
不同于一般的关系数据库,它是一个适合于
非
结构化数据
存储
的数据库。另一个不同的是
HBase
基于列的而不是基于行的模式。
HBase
(
hbase
-2.4.9-bin.tar.gz)
HBase
(
hbase
-2.4.9-bin.tar.gz)是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个
结构化数据
的分布式
存储
系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据
存储
一样,
HBase
在Hadoop之上提供了类似于Bigtable的能力。
HBase
是Apache的Hadoop项目的子项目。
HBase
不同于一般的关系数据库,它是一个适合于
非
结构化数据
存储
的数据库。另一个不同的是
HBase
基于列的而不是基于行的模式。
HBase
源码(
hbase
-2.4.9-src.tar.gz)
HBase
源码(
hbase
-2.4.9-src.tar.gz)是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个
结构化数据
的分布式
存储
系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据
存储
一样,
HBase
在Hadoop之上提供了类似于Bigtable的能力。
HBase
是Apache的Hadoop项目的子项目。
HBase
不同于一般的关系数据库,它是一个适合于
非
结构化数据
存储
的数据库。另一个不同的是
HBase
基于列的而不是基于行的模式。
hbase
-1.3.0-bin.tar
HBase
是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个
结构化数据
的分布式
存储
系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据
存储
一样,
HBase
在Hadoop之上提供了类似于Bigtable的能力。
HBase
是Apache的Hadoop项目的子项目。
HBase
不同于一般的关系数据库,它是一个适合于
非
结构化数据
存储
的数据库。另一个不同的是
HBase
基于列的而不是基于行的模式。
HBASE
讲义文档
基于hadoop的数据库工具 来源于google的一片论文BigTable 后来由Apache做了开源实现 就是
HBase
是一种 NoSQL
非
关系型的数据库 不符合关系型数据库的范式 适合
存储
半结构化
非
结构化 的数据 适合
存储
稀疏的数据 空的数据不占用空间 面向列(族)进行
存储
提供实时增删改查的能力 是一种真正的数据库 可以
存储
海量数据 性能也很强大 可以实现上亿条记录的毫秒级别的查询 但是不能提供严格的事务控制 只能在行级别保证事务 是一个高可靠性 高性能 面向列 可伸缩的分布式
存储
系统 利用
hbase
技术可以在廉价的PC上搭建起大规模结构化
存储
集群。
HBase
利用HadoopHDFS作为其文件
存储
系统,利用Hadoop的MapReduce来处理
HBase
中的海量数据,利用Zookeeper作为协调
Hadoop生态社区
20,848
社区成员
4,696
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章