查询时过滤部分不符合要求的数据

十八道胡同 2013-11-07 01:50:33
我现在可以查询出某时间段内某张的卡所有流水，我的sql如下：
/****** Script for SelectTopNRows command from SSMS  ******/

SELECT [CardNo]

      ,[CardID]

      ,[CardSave]

      ,[TollAmount]

      ,[ExTime]

      ,[ExRoad]

      ,[ExStation]

      ,[ExShiftDate]

      ,[EnTime]

      ,[EnRoad]

      ,[EnStation]

      ,[ExVehPlate]

      ,[VerifyCode]

      ,[DealStatus]

      ,[SendTime]

  FROM [QTKCenter].[dbo].[SpendHistory]

  where [CardNo] ='6212262409000028515' and [ExTime] between '2013-3-1' and '2013-3-31'


但是流水里面有些数据我想剔除：对于相同Extime 和ExStantion的流水，只取sendTime最大的那条数据。
想了半个小时了，暂时没想法，各位有什么好办法吗？
...全文
309 21 打赏 收藏 转发到动态 举报
写回复
用AI写文章
21 条回复
切换为时间正序
请发表友善的回复…
发表回复
發糞塗牆 2013-11-08
  • 打赏
  • 举报
 回复
2008的话没这个说法，2008之前的话，是你说的这样
十八道胡同 2013-11-08
  • 打赏
  • 举报
 回复
引用 1 楼 DBA_Huangzj 的回复:
select *
from [QTKCenter].[dbo].[SpendHistory] a
where exists (select 1 from (
select max(sendtime)sendtime,extime,exstantion
from [QTKCenter].[dbo].[SpendHistory]
group by extime,exstantion)b where a.extime=b.extime and a.exstantion=b.exstantion 
and a.sendtime=b.sendtime) and [CardNo] ='6212262409000028515' and [ExTime] between '2013-3-1' and '2013-3-31'
引用 18 楼 LCL_data 的回复:
[quote=引用 16 楼 yupeigu 的回复:] [quote=引用 15 楼 LCL_data 的回复:] [quote=引用 13 楼 yupeigu 的回复:] [quote=引用 12 楼 LCL_data 的回复:] [quote=引用 11 楼 yupeigu 的回复:] [quote=引用 9 楼 LCL_data 的回复:] [quote=引用 7 楼 DBA_Huangzj 的回复:] 我的不行？
您的我还没测。 我的电脑快卡死了。。。[/quote] 你的表[QTKCenter].[dbo].[SpendHistory]的数据量有多大呢。 另外，加上了过滤条件： a.[CardNo]='6212262409000028515' and a.[ExTime] between '2013-3-1' and '2013-3-31' 后大概还剩下多少呢[/quote] 不是我数据表大，我在同事的固态硬盘上跑 用2s，我的本本2分41s[/quote] 哦 ，呵呵，那返回了多少条数据呢[/quote] 有效数据39条。如果不过滤那些相同的有59条。[/quote] 那建个索引呢，这样： 
create index idx_SpendHistory_cc on SpendHistory(CardNo,ExTime)
然后，在运行下面的语句，看看： 

select [CardNo],[CardID],[CardSave],[TollAmount],[ExTime],[ExRoad],[ExStation]
       ,[ExShiftDate],[EnTime],[EnRoad],[EnStation],[ExVehPlate],[VerifyCode]
       ,[DealStatus],[SendTime] 
from
(
	select *,
		   row_number() over(partition by Extime,ExStantion 
								 order by sendTime desc) rownum
	from
	(
	 SELECT [CardNo]
		  ,[CardID]
		  ,[CardSave]
		  ,[TollAmount]
		  ,[ExTime]
		  ,[ExRoad]
		  ,[ExStation]
		  ,[ExShiftDate]
		  ,[EnTime]
		  ,[EnRoad]
		  ,[EnStation]
		  ,[ExVehPlate]
		  ,[VerifyCode]
		  ,[DealStatus]
		  ,[SendTime]
		  FROM [QTKCenter].[dbo].[SpendHistory]
	  where [CardNo] ='6212262409000028515' and 
			[ExTime] between '2013-3-1' and '2013-3-31'
	) t 
)t
where rownum=1
[/quote] 嗯，明天我试试[/quote]
引用 10 楼 ap0405140 的回复:
[quote=引用 6 楼 LCL_data 的回复:] 你的内部select时生成了rn的排名。 如果我的内部循环把所有的数据找到，外层循环在基于内层循环的结果进行rn排序，是不是会快一些？这样rn的计算基数就比较小。
方法2, 

SELECT [CardNo]
      ,[CardID]
      ,[CardSave]
      ,[TollAmount]
      ,[ExTime]
      ,[ExRoad]
      ,[ExStation]
      ,[ExShiftDate]
      ,[EnTime]
      ,[EnRoad]
      ,[EnStation]
      ,[ExVehPlate]
      ,[VerifyCode]
      ,[DealStatus]
      ,[SendTime]
  FROM [QTKCenter].[dbo].[SpendHistory] a
  where a.[CardNo]='6212262409000028515' and a.[ExTime] between '2013-3-1' and '2013-3-31'
  and not exists
  (select 1 from [QTKCenter].[dbo].[SpendHistory] b
   where b.[CardNo]='6212262409000028515' and b.[ExTime] between '2013-3-1' and '2013-3-31'
   and b.[Extime]=a.[Extime] and b.[ExStantion]=a.[ExStantion] and b.[SendTime]>a.[SendTime])
[/quote] 如果where后面有多个条件，是不是说有索引或者是主键的放前面，速度会快一点？
十八道胡同 2013-11-07
  • 打赏
  • 举报
 回复
引用 17 楼 DBA_Huangzj 的回复:
执行计划贴出来
这个功能是功能集的一部分，QA测试时发现数据不对，调试发现了这个问题。没有具体的计划。 我会试一下各种方案后在结贴。
十八道胡同 2013-11-07
  • 打赏
  • 举报
 回复
引用 16 楼 yupeigu 的回复:
[quote=引用 15 楼 LCL_data 的回复:] [quote=引用 13 楼 yupeigu 的回复:] [quote=引用 12 楼 LCL_data 的回复:] [quote=引用 11 楼 yupeigu 的回复:] [quote=引用 9 楼 LCL_data 的回复:] [quote=引用 7 楼 DBA_Huangzj 的回复:] 我的不行？
您的我还没测。 我的电脑快卡死了。。。[/quote] 你的表[QTKCenter].[dbo].[SpendHistory]的数据量有多大呢。 另外，加上了过滤条件： a.[CardNo]='6212262409000028515' and a.[ExTime] between '2013-3-1' and '2013-3-31' 后大概还剩下多少呢[/quote] 不是我数据表大，我在同事的固态硬盘上跑 用2s，我的本本2分41s[/quote] 哦 ，呵呵，那返回了多少条数据呢[/quote] 有效数据39条。如果不过滤那些相同的有59条。[/quote] 那建个索引呢，这样： 
create index idx_SpendHistory_cc on SpendHistory(CardNo,ExTime)
然后，在运行下面的语句，看看： 

select [CardNo],[CardID],[CardSave],[TollAmount],[ExTime],[ExRoad],[ExStation]
       ,[ExShiftDate],[EnTime],[EnRoad],[EnStation],[ExVehPlate],[VerifyCode]
       ,[DealStatus],[SendTime] 
from
(
	select *,
		   row_number() over(partition by Extime,ExStantion 
								 order by sendTime desc) rownum
	from
	(
	 SELECT [CardNo]
		  ,[CardID]
		  ,[CardSave]
		  ,[TollAmount]
		  ,[ExTime]
		  ,[ExRoad]
		  ,[ExStation]
		  ,[ExShiftDate]
		  ,[EnTime]
		  ,[EnRoad]
		  ,[EnStation]
		  ,[ExVehPlate]
		  ,[VerifyCode]
		  ,[DealStatus]
		  ,[SendTime]
		  FROM [QTKCenter].[dbo].[SpendHistory]
	  where [CardNo] ='6212262409000028515' and 
			[ExTime] between '2013-3-1' and '2013-3-31'
	) t 
)t
where rownum=1
[/quote] 嗯，明天我试试
發糞塗牆 2013-11-07
  • 打赏
  • 举报
 回复
执行计划贴出来
阳泉酒家小当家 2013-11-07
  • 打赏
  • 举报
 回复
引用 15 楼 LCL_data 的回复:
[quote=引用 13 楼 yupeigu 的回复:] [quote=引用 12 楼 LCL_data 的回复:] [quote=引用 11 楼 yupeigu 的回复:] [quote=引用 9 楼 LCL_data 的回复:] [quote=引用 7 楼 DBA_Huangzj 的回复:] 我的不行？
您的我还没测。 我的电脑快卡死了。。。[/quote] 你的表[QTKCenter].[dbo].[SpendHistory]的数据量有多大呢。 另外，加上了过滤条件： a.[CardNo]='6212262409000028515' and a.[ExTime] between '2013-3-1' and '2013-3-31' 后大概还剩下多少呢[/quote] 不是我数据表大，我在同事的固态硬盘上跑 用2s，我的本本2分41s[/quote] 哦 ，呵呵，那返回了多少条数据呢[/quote] 有效数据39条。如果不过滤那些相同的有59条。[/quote] 那建个索引呢，这样： 
create index idx_SpendHistory_cc on SpendHistory(CardNo,ExTime)
然后，在运行下面的语句，看看： 

select [CardNo],[CardID],[CardSave],[TollAmount],[ExTime],[ExRoad],[ExStation]
       ,[ExShiftDate],[EnTime],[EnRoad],[EnStation],[ExVehPlate],[VerifyCode]
       ,[DealStatus],[SendTime] 
from
(
	select *,
		   row_number() over(partition by Extime,ExStantion 
								 order by sendTime desc) rownum
	from
	(
	 SELECT [CardNo]
		  ,[CardID]
		  ,[CardSave]
		  ,[TollAmount]
		  ,[ExTime]
		  ,[ExRoad]
		  ,[ExStation]
		  ,[ExShiftDate]
		  ,[EnTime]
		  ,[EnRoad]
		  ,[EnStation]
		  ,[ExVehPlate]
		  ,[VerifyCode]
		  ,[DealStatus]
		  ,[SendTime]
		  FROM [QTKCenter].[dbo].[SpendHistory]
	  where [CardNo] ='6212262409000028515' and 
			[ExTime] between '2013-3-1' and '2013-3-31'
	) t 
)t
where rownum=1
十八道胡同 2013-11-07
  • 打赏
  • 举报
 回复
引用 13 楼 yupeigu 的回复:
[quote=引用 12 楼 LCL_data 的回复:] [quote=引用 11 楼 yupeigu 的回复:] [quote=引用 9 楼 LCL_data 的回复:] [quote=引用 7 楼 DBA_Huangzj 的回复:] 我的不行？
您的我还没测。 我的电脑快卡死了。。。[/quote] 你的表[QTKCenter].[dbo].[SpendHistory]的数据量有多大呢。 另外，加上了过滤条件： a.[CardNo]='6212262409000028515' and a.[ExTime] between '2013-3-1' and '2013-3-31' 后大概还剩下多少呢[/quote] 不是我数据表大，我在同事的固态硬盘上跑 用2s，我的本本2分41s[/quote] 哦 ，呵呵，那返回了多少条数据呢[/quote] 有效数据39条。如果不过滤那些相同的有59条。
十八道胡同 2013-11-07
  • 打赏
  • 举报
 回复
引用 1 楼 DBA_Huangzj 的回复:
select *
from [QTKCenter].[dbo].[SpendHistory] a
where exists 
(
  select 1 from (
    select max(sendtime)sendtime,extime,exstantion
    from [QTKCenter].[dbo].[SpendHistory]
    group by extime,exstantion
    )b 
   where a.extime=b.extime and a.exstantion=b.exstantion and a.sendtime=b.sendtime
) and [CardNo] ='6212262409000028515' and [ExTime] between '2013-3-1' and '2013-3-31'
你的思路我第一遍 没看懂。现在差不多le
阳泉酒家小当家 2013-11-07
  • 打赏
  • 举报
 回复
引用 12 楼 LCL_data 的回复:
[quote=引用 11 楼 yupeigu 的回复:] [quote=引用 9 楼 LCL_data 的回复:] [quote=引用 7 楼 DBA_Huangzj 的回复:] 我的不行？
您的我还没测。 我的电脑快卡死了。。。[/quote] 你的表[QTKCenter].[dbo].[SpendHistory]的数据量有多大呢。 另外，加上了过滤条件： a.[CardNo]='6212262409000028515' and a.[ExTime] between '2013-3-1' and '2013-3-31' 后大概还剩下多少呢[/quote] 不是我数据表大，我在同事的固态硬盘上跑 用2s，我的本本2分41s[/quote] 哦 ，呵呵，那返回了多少条数据呢
十八道胡同 2013-11-07
  • 打赏
  • 举报
 回复
引用 11 楼 yupeigu 的回复:
[quote=引用 9 楼 LCL_data 的回复:] [quote=引用 7 楼 DBA_Huangzj 的回复:] 我的不行？
您的我还没测。 我的电脑快卡死了。。。[/quote] 你的表[QTKCenter].[dbo].[SpendHistory]的数据量有多大呢。 另外，加上了过滤条件： a.[CardNo]='6212262409000028515' and a.[ExTime] between '2013-3-1' and '2013-3-31' 后大概还剩下多少呢[/quote] 不是我数据表大，我在同事的固态硬盘上跑 用2s，我的本本2分41s
阳泉酒家小当家 2013-11-07
  • 打赏
  • 举报
 回复
引用 9 楼 LCL_data 的回复:
[quote=引用 7 楼 DBA_Huangzj 的回复:] 我的不行？
您的我还没测。 我的电脑快卡死了。。。[/quote] 你的表[QTKCenter].[dbo].[SpendHistory]的数据量有多大呢。 另外，加上了过滤条件： a.[CardNo]='6212262409000028515' and a.[ExTime] between '2013-3-1' and '2013-3-31' 后大概还剩下多少呢
唐诗三百首 2013-11-07
  • 打赏
  • 举报
 回复
引用 6 楼 LCL_data 的回复:
你的内部select时生成了rn的排名。 如果我的内部循环把所有的数据找到，外层循环在基于内层循环的结果进行rn排序，是不是会快一些？这样rn的计算基数就比较小。
方法2, 

SELECT [CardNo]
      ,[CardID]
      ,[CardSave]
      ,[TollAmount]
      ,[ExTime]
      ,[ExRoad]
      ,[ExStation]
      ,[ExShiftDate]
      ,[EnTime]
      ,[EnRoad]
      ,[EnStation]
      ,[ExVehPlate]
      ,[VerifyCode]
      ,[DealStatus]
      ,[SendTime]
  FROM [QTKCenter].[dbo].[SpendHistory] a
  where a.[CardNo]='6212262409000028515' and a.[ExTime] between '2013-3-1' and '2013-3-31'
  and not exists
  (select 1 from [QTKCenter].[dbo].[SpendHistory] b
   where b.[CardNo]='6212262409000028515' and b.[ExTime] between '2013-3-1' and '2013-3-31'
   and b.[Extime]=a.[Extime] and b.[ExStantion]=a.[ExStantion] and b.[SendTime]>a.[SendTime])
十八道胡同 2013-11-07
  • 打赏
  • 举报
 回复
引用 7 楼 DBA_Huangzj 的回复:
我的不行？
您的我还没测。 我的电脑快卡死了。。。
阳泉酒家小当家 2013-11-07
  • 打赏
  • 举报
 回复
是这样不： 


select [CardNo],[CardID],[CardSave],[TollAmount],[ExTime],[ExRoad],[ExStation]
       ,[ExShiftDate],[EnTime],[EnRoad],[EnStation],[ExVehPlate],[VerifyCode]
       ,[DealStatus],[SendTime] 
from
(
	select *,
		   row_number() over(partition by Extime,ExStantion 
								 order by sendTime desc) rownum
	from
	(
	 SELECT [CardNo]
		  ,[CardID]
		  ,[CardSave]
		  ,[TollAmount]
		  ,[ExTime]
		  ,[ExRoad]
		  ,[ExStation]
		  ,[ExShiftDate]
		  ,[EnTime]
		  ,[EnRoad]
		  ,[EnStation]
		  ,[ExVehPlate]
		  ,[VerifyCode]
		  ,[DealStatus]
		  ,[SendTime]
		  FROM [QTKCenter].[dbo].[SpendHistory]
	  where [CardNo] ='6212262409000028515' and 
			[ExTime] between '2013-3-1' and '2013-3-31'
	) t 
)t
where rownum=1
發糞塗牆 2013-11-07
  • 打赏
  • 举报
 回复
我的不行？
十八道胡同 2013-11-07
  • 打赏
  • 举报
 回复
引用 5 楼 ap0405140 的回复:

select [CardNo],[CardID],[CardSave],[TollAmount],[ExTime],[ExRoad],[ExStation]
       ,[ExShiftDate],[EnTime],[EnRoad],[EnStation],[ExVehPlate],[VerifyCode]
       ,[DealStatus],[SendTime] from
(SELECT [CardNo]
      ,[CardID]
      ,[CardSave]
      ,[TollAmount]
      ,[ExTime]
      ,[ExRoad]
      ,[ExStation]
      ,[ExShiftDate]
      ,[EnTime]
      ,[EnRoad]
      ,[EnStation]
      ,[ExVehPlate]
      ,[VerifyCode]
      ,[DealStatus]
      ,[SendTime]
      ,row_number() over(partition by Extime,ExStantion order by sendTime desc) 'rn'
  FROM [QTKCenter].[dbo].[SpendHistory]
  where [CardNo] ='6212262409000028515' and [ExTime] between '2013-3-1' and '2013-3-31'
) t where rn=1
你的内部select时生成了rn的排名。 如果我的内部循环把所有的数据找到，外层循环在基于内层循环的结果进行rn排序，是不是会快一些？这样rn的计算基数就比较小。
唐诗三百首 2013-11-07
  • 打赏
  • 举报
 回复 

select [CardNo],[CardID],[CardSave],[TollAmount],[ExTime],[ExRoad],[ExStation]
       ,[ExShiftDate],[EnTime],[EnRoad],[EnStation],[ExVehPlate],[VerifyCode]
       ,[DealStatus],[SendTime] from
(SELECT [CardNo]
      ,[CardID]
      ,[CardSave]
      ,[TollAmount]
      ,[ExTime]
      ,[ExRoad]
      ,[ExStation]
      ,[ExShiftDate]
      ,[EnTime]
      ,[EnRoad]
      ,[EnStation]
      ,[ExVehPlate]
      ,[VerifyCode]
      ,[DealStatus]
      ,[SendTime]
      ,row_number() over(partition by Extime,ExStantion order by sendTime desc) 'rn'
  FROM [QTKCenter].[dbo].[SpendHistory]
  where [CardNo] ='6212262409000028515' and [ExTime] between '2013-3-1' and '2013-3-31'
) t where rn=1
十八道胡同 2013-11-07
  • 打赏
  • 举报
 回复
引用 3 楼 rockyljt 的回复:
with cte as( select *,row_number() over(partition by Extime,ExStantion order by sendTime desc) as [rank] from [QTKCenter].[dbo].[SpendHistory] ) select * from cte where rank=1
还需要点时间来理解下你的思路。
---涛声依旧--- 2013-11-07
  • 打赏
  • 举报
 回复
with cte as( select *,row_number() over(partition by Extime,ExStantion order by sendTime desc) as [rank] from [QTKCenter].[dbo].[SpendHistory] ) select * from cte where rank=1
Andy__Huang 2013-11-07
  • 打赏
  • 举报
 回复 
select a.*
from
	(SELECT [CardNo]
	      ,[CardID]
	      ,[CardSave]
	      ,[TollAmount]
	      ,[ExTime]
	      ,[ExRoad]
	      ,[ExStation]
	      ,[ExShiftDate]
	      ,[EnTime]
	      ,[EnRoad]
	      ,[EnStation]
	      ,[ExVehPlate]
	      ,[VerifyCode]
	      ,[DealStatus]
	      ,[SendTime]
	FROM [QTKCenter].[dbo].[SpendHistory]
	where [CardNo] ='6212262409000028515' and [ExTime] between '2013-3-1' and '2013-3-31'
	)a
inner join 
	(
	SELECT Extime,ExStantion,max(sendTime) as sendTime
	FROM [QTKCenter].[dbo].[SpendHistory]
	where [CardNo] ='6212262409000028515' and [ExTime] between '2013-3-1' and '2013-3-31'
	group by Extime,ExStantion
	)b on a.Extime=b.Extime and a.ExStantion=b.ExStantion and a.sendTime=b.sendTime
加载更多回复（1）
SpringBoot+ClickHouse+Vue+Druid整合实战
【介绍】ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。场景的关键特征 绝大多数是读请求数据以相当大的批次(> 1000行)更新，而不是单行更新;或者根本没有更新。已添加到数据库的数据不能修改。对于读取，从数据库中提取相当多的行，但只提取列的一小部分。宽表，即每个表包含着大量的列查询相对较少(通常每台服务器每秒查询数百次或更少)对于简单查询，允许延迟大约50毫秒列中的数据相对较小：数字和短字符串(例如，每个URL 60个字节)处理单个查询时需要高吞吐量(每台服务器每秒可达数十亿行)事务不是必须的对数据一致性要求低每个查询有一个大表。除了他以外，其他的都很小。查询结果明显小于源数据。换句话说，数据经过过滤或聚合，因此结果适合于单个服务器的RAM中【本课重点】技术栈：SpringBoot2 MybatisPlusDruidJava 8VueElement-UID2-Crud-Plus 开发思路：前后端分离 项目重点：ClickHouse的Api使用 
数据过滤：SQL数据过滤都有哪些方法？
我在上篇文章中讲到过，提升查询效率的一个很重要的方式，就是约束返回结果的数量，还有一个很有效的方式，就是指定筛选条件，进行过滤。过滤可以筛选符合条件的结果，并进行返回，减少不必要的数据行。 那么在今天的内容里，我们来学习如何对 SQL 数据进行过滤，这里主要使用的就是 WHERE 子句。 你可能已经使用过 WHERE 子句，说起来 SQL 其实很简单，只要能把满足条件的内容筛选出来即可，但在实际使用过程中，不同人写出来的 WHERE 子句存在很大差别，比如执行效率的高低，有没有遇到莫名的...
js使用filter()方法过滤数组中的不符合条件的数据（三种参数三种方法）
以下代码，使用filter()方法过滤掉了数组中的数字“2”和“3”。
js处理树形结构数据过滤
最近项目经常遇到后台接口返回整个树形结构，而前端展示只需要展示部分类型的数据，需要过滤一下，所以整理了一个过滤方法。 非层级结构时过滤非常简单，只需要一层代码就够了 export function filterTree (tree) { return tree.filter(item => item.type === 0) } 而要做到子节点也过滤时就需要用到递归去过滤 思路梳理：循环数组，然后过滤数据，如果有子节点，子节点过滤，把子节点传给递归函数 实现： export fu
v-for循环同时进行数据的过滤
首先说下我遇见的场景,请求后台数据，返回多条数据 我只要前7条，好了 问题来了 我用vsCode写 v-for和v-if不能同时使用 直接编译不给过 并且人家后台接口就没返回id这种编号值？？？？？ 如果大家没有我后面这种没给值的事情 可以使用： computed 方法来过滤筛选数据 methods 方式来筛选过滤数据 这2个可以转到这个文章下面： https://blog.csdn.net/weixin_33937499/article/details/94510734 这种写法大家去百度下方法名关键字
应用实例

27,579

社区成员

68,558

社区内容

发帖
与我相关
我的任务
社区描述
MS-SQL Server 应用实例
社区管理员
  • 应用实例社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章