mpreduce插入运行超级慢,有没有什么办法能解决了?

1 KB 2019-08-13 04:56:23
...全文
307 5 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
小羽Jary 2019-09-20
  • 打赏
  • 举报
回复
为什么不用tez或在spark引擎,这样速度会快很多
乐在梦想成真 2019-09-16
  • 打赏
  • 举报
回复
不建议直接使用mapreduce插入hive表,这本身就有性能问题,如果你懂得原理的话。如果你想从关系型数据库把数据导入hive表中,建议先使用sqoop把关系数据库的表形成文件上传hdfs,然后,再使用hive把文件load data到hive表中。
farcicalbird 2019-09-11
  • 打赏
  • 举报
回复
插入什么表,和直接放到临时表里面速度一样吗
1 KB 2019-08-14
  • 打赏
  • 举报
回复
只有百万条数据,加载很快就完成了,insert插入就会慢的吓人,正常情况下30S左右完成,但是现在都是20分钟左右。是不是哪里出问题了。
夜无边CN 2019-08-14
  • 打赏
  • 举报
回复
怎么确定慢呢? 数据量大小? 什么操作?

20,848

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧