hdfs能不能文本检索。。

方元之外 2017-12-18 10:42:02
假设我的hdfs里面存了几个文本文件。我可不可以根据文本的一个内容直接定位是那个文本文件。而不是一个一个读来匹配呢?
...全文
542 3 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
方元之外 2017-12-21
  • 打赏
  • 举报
回复
引用 2 楼 zgycsmb 的回复:
检索文件即查阅HDFS中的文件内容,可以使用hadoop中的cat命令。例如要查阅README.txt的内容,可以执行如下命令。 hadoop fs -cat README.txt
这样的话只能一个个去查看遍历。可hdfs里面数据量大起来就难受了 应该hadoop不能很好的支持文件的快速搜索。目前借助hive,但是速度慢。不知道借助hbase能不能完成。 我的目的是--- 我想输入一行字符串。快速定位哪个文件里面含有该字符串
zgycsmb 2017-12-20
  • 打赏
  • 举报
回复
检索文件即查阅HDFS中的文件内容,可以使用hadoop中的cat命令。例如要查阅README.txt的内容,可以执行如下命令。 hadoop fs -cat README.txt
方元之外 2017-12-18
  • 打赏
  • 举报
回复
应该能借助hive完成吧

20,848

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧