如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库,建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处,除非你做复杂的运行。 如果你只是想练手,那么建议将数据先从数据库load到hadoop,然后从hadoop load到hive,然后使用hive的hql语言查询出来load到另一个数据库,这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop,然后从hadoop直接load到另一个数据库就好
[quote=引用 楼主 Youritumei_habataku 的回复:] 我有一个数据库,把这个数据库的日期,数字,字符串等数据取出来存到hadoop里,然后再从hadoop里把这些数据过滤取出来(比如实现where date>**),存到另一个数据库里,请问这个流程应该用哪些技术实现? hive,mapduce之类的请详细说明下,谢谢
Sqoop:http://sqoop.apache.org/ Hadoop与RDBMS之间的桥梁,轻松搞定ETL
[quote=引用 3 楼 Youritumei_habataku 的回复:] [quote=引用 1 楼 hqshaozhu 的回复:] 如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库,建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处,除非你做复杂的运行。 如果你只是想练手,那么建议将数据先从数据库load到hadoop,然后从hadoop load到hive,然后使用hive的hql语言查询出来load到另一个数据库,这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop,然后从hadoop直接load到另一个数据库就好
我有一个数据库,把这个数据库的日期,数字,字符串等数据取出来存到hadoop里,然后再从hadoop里把这些数据过滤取出来(比如实现where date>**),存到另一个数据库里,请问这个流程应该用哪些技术实现? hive,mapduce之类的请详细说明下,谢谢
[quote=引用 1 楼 hqshaozhu 的回复:] 如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库,建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处,除非你做复杂的运行。 如果你只是想练手,那么建议将数据先从数据库load到hadoop,然后从hadoop load到hive,然后使用hive的hql语言查询出来load到另一个数据库,这样就练到手了吧。 其实你可以直接从数据库查询出满足条件的数据load到hadoop,然后从hadoop直接load到另一个数据库就好
20,848
社区成员
4,696
社区内容
加载中
试试用AI创作助手写篇文章吧