hive、impala处理数据增量的问题

Impala并发查询缓慢问题解决方案.docx

优点：* 不影响已有的业务系统* 不需要修改业务系统的ETL程序和Hive/Spark的所有程序缺点：* 需要占用集群的额外资源* 需要考虑每日的增量处理方式解决方案三：构建视图在受影响的表之上再构建一个视图

小文件合并方案.docx

在大数据处理领域，Impala和Hive是两个广泛使用的分布式查询引擎，它们依赖于Hadoop的HDFS（Hadoop Distributed File System）存储数据。

aquila:迁移工具，目标是Oracle，MySQL，SqlServer到PostgreSQL单项迁移，PostgreSQL和大数据平台Hive，Hbase，Impala等的双向迁移

例如，它可以将PostgreSQL的数据导入到Hive中，用于大数据分析；也可以将数据存入分布式数据库Hbase，满足高并发读写需求；或者将数据同步至Impala，实现快速查询。

Hive自學手冊

**2.4 数据更新、事务与索引**- **数据更新**: 自 Hive 0.14.0 版本起支持数据更新，主要通过增量文件和定期的 MapReduce 作业实现。

Kylin–基于Hadoop的大规模联机分析处理OLAP引擎 共33页.pdf

其他解决方案包括Hive、Impala、Drill、Presto、Spark+Shark等。这些解决方案都可以将SQL翻译为MapReduce作业，或者使用MPP引擎来处理SQL查询。