hadoop 分布式数据的处理

systemup_v1 2014-03-07 01:54:56

本人现在做一个关于hadoop 的实验，是三台电脑搭建的一个实验环境，运行一个自己写的论坛数据抓取的map程序，抓取的数据存储在HDFS中，现在问题来了我想把节点机中的数据导出到节点机的数据库中（这个数据库是本地的，不是在HDFS上的数据库），请问如何解决。由于表达的不是很清楚，还请懂我的意思的同志给点建议，谢谢

...全文

73 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

撸大湿 2014-03-09

打赏
举报

回复

引用 2 楼 woshiyizhiyu0 的回复:

用的MYSQL 就是把集群中的数据导出来进行处理，hadoop只负责数据的抓取与存储

用SQOOP

systemup_v1 2014-03-08

打赏
举报

回复

用的MYSQL 就是把集群中的数据导出来进行处理，hadoop只负责数据的抓取与存储

海兰 2014-03-07

打赏
举报

回复

你好，我想问下，你本地库是以什么方式来存储数据呢？

第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...

本书专注于Hadoop 分布式文件系统（HDFS）的主流HA 解决方案，内容包括：HDFS 元数据解析、Hadoop 元数据备份方案、Hadoop Backup Node 方案、AvatarNode 解决方案以及最新的HA 解决方案Cloudrea HA Name Node 等。...

　·使用hadoop分布式文件系统(hdfs)来存储海量数据集，　通过mapreduce对这些数据集运行分布式计算　·熟悉hadoop的数据和ilo构件，用于压缩、数据集成、序列化和持久处理　·洞悉编~mapreduce实际应用时的常见...

Hadoop分布式文件系统；Hadoop的I/O、MapReduce应用程序开发；MapReduce的工作机制；MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供...

Hadoop之分布式技术

778

社区成员

370

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章