如何测试HDFS读写文件的速度？

lanceyang1992 2015-06-10 05:21:36

现在需要测试一些开销，包括HDFS上读写文件速率，

查看了一些资料发现没有太好的办法

不知道哪位大神有思路？

只计算从HDFS读文件和向HDFS上写文件的速度。

...全文

664 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

芥末8.9 2015-06-13

打赏
举报

回复

你的数据是什么类型的数据？是放在传统的关系型数据库中的吗？

HDFS采用了冗余数据存储，增强了数据可靠性，加快了数据传输速度。HDFS还采用了相应的数据存放、数据读取和数据复制策略，来提升系统整体读写响应性能。HDFS把硬件出错看作一种常态，设计了错误恢复机制本章最后...

由于目前只有三台服务器，且有三个副本，数据读取就近原则，相当于都是读取的本地磁盘数据，没有走网络。...（2）测试内容：向HDFS集群写10个128M的文件。（1）测试内容：读取HDFS集群10个128M的文件。

1.HDFS原理与架构说明2.HDFS的namenode和datanode3.HDFS缓存机制(Cache)4.HDFS快照(Snapshot)5.HDFS命令行操作6.HDFS的Java API编程7.HDFS Web HDFS API编程实践 8.HDFS企业级项目实战：某企业微博数据分析平台数据...

2.先测试硬盘的读写，看下硬件瓶颈 1.fio命令，测试磁盘的读写性能（1）顺序读测试结果显示，磁盘的总体顺序读速度为360MiB/s。结果显示，磁盘的总体顺序写速度为341MiB/s。结果显示，磁盘的总体随机写速度为309...

目录下，如果是CDH版本安装的Hadoop需要自己去对应目录下找。1、如果是Apache版本安装的Hadoop默认在。：总数据量（文件数量×单个文件大小）：总数据量（文件数量×...【Hadoop-HDFS压测】针对HDFS进行读写性能测试

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章