如何优化这个简单的查询，表里有850亿条记录

[PasLeChoix]

我使用的是26个节点的Cloudera 集群，每个节点的内存是256G。

我有一个很简单的query，但是总是time out

select * from order_detail 
where 
cast(trd_date as timestamp) > cast ('2014-10-30' as timestamp) and
cast(trd_date as timestamp) < cast ('2015-01-01' as timestamp) and
cat = 'FUSION' and DEST in ('XCBF','XCBG','XDVF','CBF')

挑战在于这个order_detail有850亿条记录!

谢谢各位。

[水草有根]

使用的是什么技术？spark/spark sql , 还是hive ,还是 presto之类的sql引擎，吴国是MR技术，特别注意数据倾斜；如果是sql引擎，注意索引，一般如果把index key放在函数中是无法走索引的，优化sql，把index key 从函数中拿出来

[TracyGao01]

用什么引擎查的？hive on spark? hive on mr? spark sql? Impala？...明确一下问题 楼上说的对，你的索引字段放在函数里是无法命中索引的

[zgycsmb]

应该是和索引有关。。

[勤奋的沉沦]

1. 你的查询用索引了吗？ 2. 你的索引科学吗？是否能让你查询的数据连续的分布在一个或者多个节点上？如果不能，那么查询出来的数据还需要重新聚合重新查询 3. 如果上面的两个问题都不能解决，那么就想办法减少表的数据量。

[老农民挖数据]

order_detail 这个肯定是分区表咯， 所以你的850亿，无所谓。 你肯定要分区过滤。 我看了你的*号， 完全没有意思， 你是在测试性能吧。 真正的业务不会这样用吧。 所以，你完全可以按分区循环查询，列出你需要你的列。加上limit更佳。 或者你的详单存hbase，设计好你的key。 要不走impala，利用好compute stats xxx 表 partiton(xxxx)。 或者我们私聊， qq ：271866215 CSDN: 老农民挖数据

[五哥]

850亿条数据，日期分期，不要用in，用or

[pucheung]

850亿， trd_date  这个字段不是分区字段吗 ， 方法： 分区、分批次查询

[五哥]

select * from order_detail
where
cat = 'FUSION' and
cast(trd_date as timestamp) > cast ('2014-10-30' as timestamp) and
cast(trd_date as timestamp) < cast ('2015-01-01' as timestamp) and
( DEST ='XCBF' or DEST ='XCBG' or DEST ='XDVF' or DEST ='CBF')

[yourfff]

select * from order_detail
where
cat = 'FUSION' and
cast(trd_date as timestamp) > cast ('2014-10-30' as timestamp) and
cast(trd_date as timestamp) < cast ('2015-01-01' as timestamp) and
( DEST ='XCBF' or DEST ='XCBG' or DEST ='XDVF' or DEST ='CBF')