hadoop里这个数据流程应该怎么实现？

2014-01-16 09:31:00 352 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Youritumei_habataku 墨衍会员 · AI 创作全网分发关注 + 加入社区

三维点云孔洞修复（附Python代码和公共点云数据集链接）（1）物体自身缺失（2）物体自身形状复杂，很多凹凸面不够规则甚至存在空腔，空腔内部无法被三维激光扫描仪扫描到（3）物体部分区域对激光扫描不敏感，未被扫描上（4）扫描仪的扫描稳定性。阅读详情

我有一个数据库，把这个数据库的日期，数字，字符串等数据取出来存到hadoop里，然后再从hadoop里把这些数据过滤取出来（比如实现where date>**）,存到另一个数据库里，请问这个流程应该用哪些技术实现？
hive，mapduce之类的请详细说明下，谢谢

...全文

人工势场法在自动驾驶避障中的实践与优化本文深入探讨了人工势场法在自动驾驶避障中的核心原理与实践优化。通过解析引力与斥力模型，揭示了经典算法在局部最优和目标不可达等问题上的局限性，并重点介绍了改进斥力场函数、引入道路边界斥力及动态参数调整等关键优化策略，有效提升了该局部路径规划算法在复杂动态场景下的实用性与鲁棒性。阅读详情

Youritumei_habataku

Hadoop生态社区 20,842 成员 4,695 内容

+ 关注 + 加入社区

切换为时间正序

Youritumei_habataku 2014-01-20

打赏
举报

引用 1 楼 hqshaozhu 的回复:

如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

你好，想追问一下，》那么建议将数据先从数据库load到hadoop 这里就是把我获取到的数据写入hdfs上的txt文件里，是这么理解吗》然后从hadoop load到hive 请问这里是怎么实现

Youritumei_habataku 2014-01-17

打赏
举报

引用 5 楼 tntzbzc 的回复:

[quote=引用楼主 Youritumei_habataku 的回复:] 我有一个数据库，把这个数据库的日期，数字，字符串等数据取出来存到hadoop里，然后再从hadoop里把这些数据过滤取出来（比如实现where date>**）,存到另一个数据库里，请问这个流程应该用哪些技术实现？ hive，mapduce之类的请详细说明下，谢谢

置顶帖里有介绍：【Hadoop问题汇总贴，不定期更新，欢迎大家推荐有代表性的帖子和博文】

引用

Sqoop：http://sqoop.apache.org/ Hadoop与RDBMS之间的桥梁，轻松搞定ETL

用SQOOP解决LZ的问题[/quote] 谢谢，我再研究看看

Youritumei_habataku 2014-01-17

打赏
举报

引用 4 楼 hqshaozhu 的回复:

[quote=引用 3 楼 Youritumei_habataku 的回复:] [quote=引用 1 楼 hqshaozhu 的回复:] 如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

另外请问一下，您说的将数据先从数据库load到hadoop这一部分用什么程序实现，能具体说说吗，是用mapduce吗？[/quote] 可以使用mapreduce操作，也可以直接使用hdfs api操作，mapreduce效率会高一些 mapreduce的话使用dbinputform实现，hdfs api的话就是用java连接数据库读取数据然后调用hdfs api将数据直接写入到文件。[/quote] 谢谢，我再研究看看

撸大湿 2014-01-17

打赏
举报

引用楼主 Youritumei_habataku 的回复:

我有一个数据库，把这个数据库的日期，数字，字符串等数据取出来存到hadoop里，然后再从hadoop里把这些数据过滤取出来（比如实现where date>**）,存到另一个数据库里，请问这个流程应该用哪些技术实现？ hive，mapduce之类的请详细说明下，谢谢

置顶帖里有介绍：【Hadoop问题汇总贴，不定期更新，欢迎大家推荐有代表性的帖子和博文】

引用

Sqoop：http://sqoop.apache.org/ Hadoop与RDBMS之间的桥梁，轻松搞定ETL

用SQOOP解决LZ的问题

少主无翼 2014-01-17

打赏
举报

引用 3 楼 Youritumei_habataku 的回复:

[quote=引用 1 楼 hqshaozhu 的回复:] 如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

Youritumei_habataku 2014-01-16

打赏
举报

引用 1 楼 hqshaozhu 的回复:

如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

另外请问一下，您说的将数据先从数据库load到hadoop这一部分用什么程序实现，能具体说说吗，是用mapduce吗？

Youritumei_habataku 2014-01-16

打赏
举报

引用 1 楼 hqshaozhu 的回复:

如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

谢谢指导，我不是练手，是公司开发式样就是这样的，客户的要求

少主无翼 2014-01-16

打赏
举报

如果是真实需要不建议将数据load到hadoop然后在load到另一个数据库，建议直接从一个数据库load到另一个数据库。hadoop对于简单的数据处理没有什么好处，除非你做复杂的运行。如果你只是想练手，那么建议将数据先从数据库load到hadoop，然后从hadoop load到hive，然后使用hive的hql语言查询出来load到另一个数据库，这样就练到手了吧。其实你可以直接从数据库查询出满足条件的数据load到hadoop，然后从hadoop直接load到另一个数据库就好

hadoop里这个数据流程应该怎么实现？

相关推荐