kudu-hash表内存释放慢，不断堆积怎么优化

叫骚的猫 2019-10-21 10:39:33

目前发现hash分区的表内存释放特别慢，导致内存不停堆积，所以隔几天就要重新建一次表...
有没有大佬解决过此类问题，求解答

...全文

271 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

一、impala + kudu一些优化心得用了几次impala + kudu做大数据实时计算场景，一路踏坑过来，这里分享踏坑经验一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表由于sqoop从关系型数据直接以parquet格式导入hive会有问题，这里默认hive的表都是txt格式；每次导完到临时表，需要做invalidate metadata 表操作，不然后面直接导入kudu的时候会查不到数据除了查询，建议所有im

基于 Doris 的新数仓架构不再依赖 Hadoop 生态组件，运维简单，维护成本低。具有更高性能，使用更少的服务器资源，提供更强的数据处理能力。支持高并发，能直接支持 WebApp 的查询服务。支持外表，可以很方便的进行数据发布，将数据推送其他数据库中。支持动态扩容，数据自动平衡。支持多种联邦查询方式，支持 Hive、ES、MySQL 等得益于新架构的优异能力，我们所用集群从18 台 16C128G 减少到 12 台 16C128G，集群资源较之前节省了33%，大大降低了投入成本；

1.HashMap和Hashtable区别 2.HashMap、Hashtable、ConcurrentHashMap的原理与区别 3.Java垃圾回收机制和生命周期 4.怎么解决Kafka数据丢失的问题 5.zookeeper是如何保证数据一致性的 6.hadoop和spark在处理数据时，处理出现内存溢出的方法有哪些？ 7.Spark 如何调优 8.Flink和Spark的通信架构有什么异同 9.Java的代理 10.Java的内存溢出和内存泄露 11.Hadoop的组件有哪些？Yarn的调度器有哪些？

1、HashMap 和 Hashtable 区别 Hashtable继承自Dictionary类，而HashMap继承自AbstractMap类。但二者都实现了Map接口。线程安全性不同，Hashtable 线程安全 HashMap把Hashtable的contains方法去掉了，改成containsValue和containsKey，因为contains方法容易让人引起误解。Ha...

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章