hadoop里这个数据流程应该怎么实现?

Youritumei_habataku 2014-01-16 09:31:00
我有一个数据库,把这个数据库的日期,数字,字符串等数据取出来存到hadoop里,然后再从hadoop里把这些数据过滤取出来(比如实现where date>**),存到另一个数据库里,请问这个流程应该用哪些技术实现?
hive,mapduce之类的请详细说明下,谢谢
...全文
299 8 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
引用 1 楼 hqshaozhu 的回复:
如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库,建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处,除非你做复杂的运行。 如果你只是想练手,那么建议将数据先从数据库load到hadoop,然后从hadoop load到hive,然后使用hive的hql语言查询出来load到另一个数据库,这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop,然后从hadoop直接load到另一个数据库就好
你好,想追问一下, 》那么建议将数据先从数据库load到hadoop 这里就是把我获取到的数据写入hdfs上的txt文件里,是这么理解吗 》然后从hadoop load到hive 请问这里是怎么实现
  • 打赏
  • 举报
回复
引用 5 楼 tntzbzc 的回复:
[quote=引用 楼主 Youritumei_habataku 的回复:] 我有一个数据库,把这个数据库的日期,数字,字符串等数据取出来存到hadoop里,然后再从hadoop里把这些数据过滤取出来(比如实现where date>**),存到另一个数据库里,请问这个流程应该用哪些技术实现? hive,mapduce之类的请详细说明下,谢谢
置顶帖里有介绍:【Hadoop问题汇总贴,不定期更新,欢迎大家推荐有代表性的帖子和博文】
引用
Sqoop:http://sqoop.apache.org/ Hadoop与RDBMS之间的桥梁,轻松搞定ETL
用SQOOP解决LZ的问题[/quote] 谢谢,我再研究看看
  • 打赏
  • 举报
回复
引用 4 楼 hqshaozhu 的回复:
[quote=引用 3 楼 Youritumei_habataku 的回复:] [quote=引用 1 楼 hqshaozhu 的回复:] 如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库,建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处,除非你做复杂的运行。 如果你只是想练手,那么建议将数据先从数据库load到hadoop,然后从hadoop load到hive,然后使用hive的hql语言查询出来load到另一个数据库,这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop,然后从hadoop直接load到另一个数据库就好
另外请问一下,您说的将数据先从数据库load到hadoop这一部分用什么程序实现,能具体说说吗,是用mapduce吗?[/quote] 可以使用mapreduce操作,也可以直接使用hdfs api操作,mapreduce效率会高一些 mapreduce的话使用dbinputform实现,hdfs api的话就是用java连接数据库读取数据然后调用hdfs api将数据直接写入到文件。[/quote] 谢谢,我再研究看看
撸大湿 2014-01-17
  • 打赏
  • 举报
回复
引用 楼主 Youritumei_habataku 的回复:
我有一个数据库,把这个数据库的日期,数字,字符串等数据取出来存到hadoop里,然后再从hadoop里把这些数据过滤取出来(比如实现where date>**),存到另一个数据库里,请问这个流程应该用哪些技术实现? hive,mapduce之类的请详细说明下,谢谢
置顶帖里有介绍:【Hadoop问题汇总贴,不定期更新,欢迎大家推荐有代表性的帖子和博文】
引用
Sqoop:http://sqoop.apache.org/ Hadoop与RDBMS之间的桥梁,轻松搞定ETL
用SQOOP解决LZ的问题
少主无翼 2014-01-17
  • 打赏
  • 举报
回复
引用 3 楼 Youritumei_habataku 的回复:
[quote=引用 1 楼 hqshaozhu 的回复:] 如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库,建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处,除非你做复杂的运行。 如果你只是想练手,那么建议将数据先从数据库load到hadoop,然后从hadoop load到hive,然后使用hive的hql语言查询出来load到另一个数据库,这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop,然后从hadoop直接load到另一个数据库就好
另外请问一下,您说的将数据先从数据库load到hadoop这一部分用什么程序实现,能具体说说吗,是用mapduce吗?[/quote] 可以使用mapreduce操作,也可以直接使用hdfs api操作,mapreduce效率会高一些 mapreduce的话使用dbinputform实现,hdfs api的话就是用java连接数据库读取数据然后调用hdfs api将数据直接写入到文件。
  • 打赏
  • 举报
回复
引用 1 楼 hqshaozhu 的回复:
如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库,建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处,除非你做复杂的运行。 如果你只是想练手,那么建议将数据先从数据库load到hadoop,然后从hadoop load到hive,然后使用hive的hql语言查询出来load到另一个数据库,这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop,然后从hadoop直接load到另一个数据库就好
另外请问一下,您说的将数据先从数据库load到hadoop这一部分用什么程序实现,能具体说说吗,是用mapduce吗?
  • 打赏
  • 举报
回复
引用 1 楼 hqshaozhu 的回复:
如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库,建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处,除非你做复杂的运行。 如果你只是想练手,那么建议将数据先从数据库load到hadoop,然后从hadoop load到hive,然后使用hive的hql语言查询出来load到另一个数据库,这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop,然后从hadoop直接load到另一个数据库就好
谢谢指导,我不是练手,是公司开发式样就是这样的,客户的要求
少主无翼 2014-01-16
  • 打赏
  • 举报
回复
如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库,建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处,除非你做复杂的运行。 如果你只是想练手,那么建议将数据先从数据库load到hadoop,然后从hadoop load到hive,然后使用hive的hql语言查询出来load到另一个数据库,这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop,然后从hadoop直接load到另一个数据库就好

20,848

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧