社区
数据结构与算法
帖子详情
请问关于使用位图索引进行大批量数据查找的问题?
lovestefanie
2011-10-17 09:35:20
就知道大规模数据查找可以使用位图索引
但是网上资料都是数据库方面的,请问具体应该怎么实现?
例如有1亿条数据,每条数据保存的都是32位的地址,怎么找去其中的重复地址,内存只有4G?
...全文
122
4
打赏
收藏
请问关于使用位图索引进行大批量数据查找的问题?
就知道大规模数据查找可以使用位图索引 但是网上资料都是数据库方面的,请问具体应该怎么实现? 例如有1亿条数据,每条数据保存的都是32位的地址,怎么找去其中的重复地址,内存只有4G?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
lovestefanie
2011-10-20
打赏
举报
回复
继续顶一下
lovestefanie
2011-10-18
打赏
举报
回复
[Quote=引用 1 楼 dizuo 的回复:]
位图法 表示2的32次个整数,一位表示一个整数,总共2^32位,即2^29次个字节。512M内存。
[/Quote]
那查找的时候复杂度是多少呢?
lz3771
2011-10-17
打赏
举报
回复
mark
ryfdizuo
2011-10-17
打赏
举报
回复
位图法 表示2的32次个整数,一位表示一个整数,总共2^32位,即2^29次个字节。512M内存。
Redis轻松入门到开发实践原理剖析
适合人群:想快速系统掌握Redis技术的开发人员 JavaWeb开发人员,微服务架构爱好者,Java架构师课程目标:学习Redis的实战技能,可以应对开发中的各种应用场景课程简介:Redis是一种基于键值对(key-value)的NoSQL
数据
库,与很多键值
数据
库不同的是,Redis中的值可以由多种
数据
类型组成,这些
数据
类型包括string、hash、list、set、zset(有序集合)、Bitmaps(位图)、GEO(地理位置定位)等。因此,Redis可以满足很多的应用场景,而且由于Redis会将所有
数据
都存放在内存中,所以它的读写性能非常惊人。同时,Redis还拥有持久化功能,也就是可以将内存中的
数据
保存到硬盘上,以避免突然断电而导致内存中的
数据
全部丢失。当然,Redis还有更多的高级功能,这些都会在本系列课程中详细讲解。本课程主要内容如下:1. Redis的基础知识2. Redis的核心命令(包括与字符串、哈希、列表、集合、有序集合、键相关的命令)3. 用5种语言与Redis交互,
使用
这些命令4. redis-cli深度探索5. Pipeline6. 事物与Lua7. 位操作8. HyperLogLog9. 发布订阅10. 连接池讲解Redis的各种常用技能1,Redis的基本
数据
类型及应用场景2,Redis的内存管理机制3,Redis的持久化机制4,Redis的主从复制5,搭建Redis高可用架构6,搭建Redis集群架构
索引-
数据
测试
测试环境: linux系统下,oracle 11g
数据
库。 测试方式: 插入
数据
:
使用
PL/SQL工具,开启一个command window(命令窗口),通过exec 包名.存储过程名,来插入
数据
,打开 set timing on; 执行存储过程后会有执行时间。 查询
数据
:在本电脑上
使用
Navicat Premium工具,直接执行查询命令来看工具给出的执行时间。 先说一下我的测
数据
仓库笔记
数据
仓库要点 第二章
数据
仓库 1、B树索引 考题:为何B树等在
数据
库中广泛
使用
的索引技术无法直接被引入
数据
仓库? 1、B树要求属性必须具有许多不同的值,比如身份证号这种取值字段,取值范围很广,几乎没有重复。 2、B树要求查询应具有更简单的条件和更少的结果 3、创建B树的空间复杂度和时间复杂度很大 2、
位图索引
BitMap Index
位图索引
分为两种,简单
位图索引
和编码
位图索引
,考试时候会...
大规模
数据
量下ES如何实现高性能检索?
ElasticSearch,是基于Lucene库的搜索引擎。它提供了一个分布式、多租户的全文搜索引擎,具有HTTP web接口和无模式JSON文档。根据DB引擎排名,Elasticsearch是最受欢迎的企业搜索引擎。ES的特点是分布式、高扩展以及近实时。那么,大规模
数据
量下ES是如何实现高性能检索的呢?回到我们的文章标题,ES是如何实现高性能模糊查询的呢?ES通过分词然后对每一个单词及其对应文档建立倒排索引,使得能够快速根据关键词找到对应文档id;
06-
数据
库检索:如何
使用
B-树对海量磁盘
数据
建立索引?
你好,我是陈东。在基础篇中,我们学习了许多和检索相关的
数据
结构和技术。但是在大规模的
数据
环境下,这些技术的应用往往会遇到一些
问题
,比如说,无法将
数据
全部加载进内存。再比如说,无法支持索引的高效实时更新。而且,对于复杂的系统和业务场景,我们往往需要对基础的检索技术
进行
组合和升级。这就需要我们对实际的业务
问题
和解决方案十分了解。所以,从这一讲开始,我会和你一起探讨实际工作中的系统和业务
问题
,分享给你一些工业界中常见的解决方案,帮助你积累对应的行业经验,让你能够解决工作中的检索难题。
数据结构与算法
33,008
社区成员
35,326
社区内容
发帖
与我相关
我的任务
数据结构与算法
数据结构与算法相关内容讨论专区
复制链接
扫一扫
分享
社区描述
数据结构与算法相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章