hadoop里这个数据流程应该怎么实现？

[Youritumei_habataku]

我有一个数据库，把这个数据库的日期，数字，字符串等数据取出来存到hadoop里，然后再从hadoop里把这些数据过滤取出来（比如实现where date>**）,存到另一个数据库里，请问这个流程应该用哪些技术实现？
hive，mapduce之类的请详细说明下，谢谢

[少主无翼]

如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。 如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

[Youritumei_habataku]

引用 1 楼 hqshaozhu 的回复:

如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。 如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

谢谢指导，我不是练手，是公司开发式样就是这样的，客户的要求

[Youritumei_habataku]

引用 1 楼 hqshaozhu 的回复:

如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。 如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

另外请问一下，您说的将数据先从数据库load到hadoop这一部分用什么程序实现，能具体说说吗，是用mapduce吗？

[少主无翼]

引用 3 楼 Youritumei_habataku 的回复:

[quote=引用 1 楼 hqshaozhu 的回复:] 如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。 如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

另外请问一下，您说的将数据先从数据库load到hadoop这一部分用什么程序实现，能具体说说吗，是用mapduce吗？[/quote] 可以使用mapreduce操作，也可以直接使用hdfs api操作，mapreduce效率会高一些 mapreduce的话使用dbinputform实现，hdfs api的话就是用java连接数据库读取数据然后调用hdfs api将数据直接写入到文件。

[撸大湿]

引用 楼主 Youritumei_habataku 的回复:

我有一个数据库，把这个数据库的日期，数字，字符串等数据取出来存到hadoop里，然后再从hadoop里把这些数据过滤取出来（比如实现where date>**）,存到另一个数据库里，请问这个流程应该用哪些技术实现？ hive，mapduce之类的请详细说明下，谢谢

置顶帖里有介绍：【Hadoop问题汇总贴，不定期更新，欢迎大家推荐有代表性的帖子和博文】

引用

Sqoop：http://sqoop.apache.org/ Hadoop与RDBMS之间的桥梁，轻松搞定ETL

用SQOOP解决LZ的问题

[Youritumei_habataku]

引用 4 楼 hqshaozhu 的回复:

[quote=引用 3 楼 Youritumei_habataku 的回复:] [quote=引用 1 楼 hqshaozhu 的回复:] 如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。 如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

另外请问一下，您说的将数据先从数据库load到hadoop这一部分用什么程序实现，能具体说说吗，是用mapduce吗？[/quote] 可以使用mapreduce操作，也可以直接使用hdfs api操作，mapreduce效率会高一些 mapreduce的话使用dbinputform实现，hdfs api的话就是用java连接数据库读取数据然后调用hdfs api将数据直接写入到文件。[/quote] 谢谢，我再研究看看

[Youritumei_habataku]

引用 5 楼 tntzbzc 的回复:

[quote=引用 楼主 Youritumei_habataku 的回复:] 我有一个数据库，把这个数据库的日期，数字，字符串等数据取出来存到hadoop里，然后再从hadoop里把这些数据过滤取出来（比如实现where date>**）,存到另一个数据库里，请问这个流程应该用哪些技术实现？ hive，mapduce之类的请详细说明下，谢谢

置顶帖里有介绍：【Hadoop问题汇总贴，不定期更新，欢迎大家推荐有代表性的帖子和博文】

引用

Sqoop：http://sqoop.apache.org/ Hadoop与RDBMS之间的桥梁，轻松搞定ETL

用SQOOP解决LZ的问题[/quote] 谢谢，我再研究看看

[Youritumei_habataku]

引用 1 楼 hqshaozhu 的回复:

如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。 如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

你好，想追问一下， 》那么建议将数据先从数据库load到hadoop 这里就是把我获取到的数据写入hdfs上的txt文件里，是这么理解吗 》然后从hadoop load到hive 请问这里是怎么实现