大数据视图查询的问题

zhanglong19891129 2013-07-08 07:00:42
对视图进行物化,该视图的数据量 大概有1000来万条。我现在用的方法 是对视图进行分页查询然后在快写进数据库中,但运行了6个来小时 也只物化了 500W条数据,,,这个实在是太慢了?我想问的是,怎么提升 对视图数据的查询速度??分页查询视图会不会降低查询速度啊(网上看的说,没有索引的视图,分页查询会降低速度,是不是啊??)
...全文
202 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
Wudaode 2013-07-11
  • 打赏
  • 举报
回复
复杂的查询,物化视图能够大量提高速度的,但是会大量降低增删改的效率。 想提高物化视图的效率,最好建立视图索引。创建方法和创建表索引方法一样。 如果做大数据的批量插入,最好用SqlBulkCopy对象,千万别循环一条一条插入,效果太低!
Regan-lin 2013-07-11
  • 打赏
  • 举报
回复
视图查询不会提高效率的,它也是要从基表里查询再操作的,所以不会提高效率,用索引做吧
lichaoqjp 2013-07-11
  • 打赏
  • 举报
回复
使用 Lucence.net 优化查询
zhanglong19891129 2013-07-11
  • 打赏
  • 举报
回复
引用 1 楼 nice_fish 的回复:
1.索引 2.查询指定字段,禁用select * 3.使用top方式代替row_number() over
索引创建 有啥例子没有?
  • 打赏
  • 举报
回复
从查询语句等等的优化入手
  • 打赏
  • 举报
回复
1.索引 2.查询指定字段,禁用select * 3.使用top方式代替row_number() over
当前,随着各地视频监控建设的深入推进,治安防控、刑事侦查、交通管理、反恐维稳等各公安业务层对卡口系统的依赖程度日益增加。同时,随着犯罪分子反侦能力的增强,作案手法不断升级,跨省市流窜案件频发,实战中对卡口数据的处理技术和支撑效能提出了更高的要求,迫切需要实现跨区域、跨警种、跨系统的业务协作与共享。 车辆视图大数据深度联网应用平台充分发挥人工智能、深度学习、计算机视觉等前沿技术在图像分析处理领域的专业优势,针对治安防控业务应用层对实时监控、快速检索、轨迹追踪、预测预警等方面的深度需求,依托各地已建成的卡口视图大数据资源,进行二次识别、结构化特征提取与深度挖掘分析,为公安用户展开案(事)件研判分析提供丰富的模块应用,能够显著提高涉车类案件破案率、压降涉车类犯罪案件发案率。 系统立足各地卡口建设项目实际,部署过程中无需更换或改造前端设备,无需对过车图片数据集中存储,最大限度开发利用现有投资和已有资源。以先进、高效、经济、稳定的实施方案,切实实现了以过车数据为主线,对人、车、物进行快速检索以及与视频库、人员库的联动分析,最大限度地服务警务实战,提高立体化治安防控能力。为创新完善以视频深度应用为核心的合成作战体系,提供强有力的技术引擎和高端应用支撑。

110,534

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Web++
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧