社区
C语言
帖子详情
千万级数据,如何以最快的速度查找
Bandry
2019-03-26 12:35:51
目前有个项目,情况如下:
现在有200w的字符串,数据加载到内存后,输入一个字符串,找出对应的字符串相关信息
简单举例:
struct {
char * str,
struct test
}
每个字符串是一个这样的结构体,数据量大约有200w,要求输入一个字符串,以最快的速度,找出对应的结构体
要求在0.1毫秒内查找出来 (因为这种查找请求并发在10000以上)
该如何来设计这个数据结构和查找算法了,头疼
...全文
614
7
打赏
收藏
千万级数据,如何以最快的速度查找
目前有个项目,情况如下: 现在有200w的字符串,数据加载到内存后,输入一个字符串,找出对应的字符串相关信息 简单举例: struct { char * str, struct test } 每个字符串是一个这样的结构体,数据量大约有200w,要求输入一个字符串,以最快的速度,找出对应的结构体 要求在0.1毫秒内查找出来 (因为这种查找请求并发在10000以上) 该如何来设计这个数据结构和查找算法了,头疼
复制链接
扫一扫
分享
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
蠓虫带着秤砣飞
2019-03-26
打赏
举报
回复
引用 6 楼 Bandry 的回复:
感谢大家的回复,目前采用了uthash存储,但是总感觉还有更高效的方法能实现,匹配是完全匹配,不用部分匹配
可以分块。 比如按第一个字节的值,分块,可以把千万条级别的数据每块下降1-3个数量级。 根据第一个字节选择块,然后再在块里面查找。这样就会快很多。
Bandry
2019-03-26
打赏
举报
回复
感谢大家的回复,目前采用了uthash存储,但是总感觉还有更高效的方法能实现,匹配是完全匹配,不用部分匹配
636f6c696e
2019-03-26
打赏
举报
回复
建立哈希表呀
AlbertS
2019-03-26
打赏
举报
回复
分组建立索引呗,全都导入内存吗?看看内存够不够吧
蠓虫带着秤砣飞
2019-03-26
打赏
举报
回复
我上面说的太粗了。 其实还需要知道 字符串的匹配方式是什么样的? 比如字符串需要的是完全匹配还是部分匹配? 如果不需要部分匹配,就不用建立索引
蠓虫带着秤砣飞
2019-03-26
打赏
举报
回复
这个要建索引。参考搜索引擎的索引方式。
真相重于对错
2019-03-26
打赏
举报
回复
关键看你用何种数据结构存储 建议使用hashtable,或者BTREE
数据
库SQL
千万级
数据
规模处理概要
我在前年遇到过过亿条的
数据
。以至于一个处理过程要几个小时的。后面慢慢优化,
查找
一些经验文章。才学到了一些基本方法。综合叙之,与君探讨之。1.
数据
太多。放在一个表肯定不行。比如月周期表。一个月1000万,一年就1.2亿,如此累计下去肯定不行的。所以都是基于一个周期
数据
一个表。甚至一个周期
数据
就要分几个分表。主要是考虑实际的
数据
量而定。当你创建一个新表时,可能这个表需要有索引,但是都要先
处理
千万级
数据
MYSQL
问题概述 使用阿里云rds for MySQL
数据
库(就是MySQL5.6版本),有个用户上网记录表6个月的
数据
量近2000万,保留最近一年的
数据
量达到4000万,查询
速度
极慢,日常卡死。严重影响业务。 问题前提:老系统,当时设计系统的人大概是大学没毕业,表设计和sql语句写的不仅仅是垃圾,简直无法直视。原开发人员都已离职,到我来维护,这就是传说中的维护不了就跑路,然后我就是掉坑的那个!!! 我尝...
阿里二面:MySQL索引是怎么支撑
千万级
表的快速
查找
?
在 MySQL 官方提到,改善操作性能的最佳方法 SELECT 在查询中测试的一个或多个列上创建索引。索引条目的作用类似于指向表行的指针,从而使查询可以快速确定哪些行与WHERE子句中的条件匹配,并检索这些行的其他列值。所有MySQL
数据
类型都可以建立索引。...
从卡顿到丝滑:SmartDNS如何用红黑树实现
千万级
域名秒级解析
SmartDNS是一个本地DNS服务器,能够获取
最快
的网站IP,为用户带来最佳上网体验,同时支持DoH、DoT等安全协议。在网络访问中,DNS解析
速度
直接影响网页加载快慢,而SmartDNS通过红黑树这一高效
数据
结构,实现了
千万级
域名的秒级解析,让网络访问从卡顿变得丝滑。 ## 为什么DNS解析
速度
至关重要? 当我们在浏览器中输入一个网址时,首先需要通过DNS服务器将域名解析为对应的IP地址,
MATLAB模糊控制编程
已经博主授权,源码转载自 https://pan.quark.cn/s/a4b39357ea24 基于Matlab的模糊控制PID仿真,以及相应的论文,验证参数
C语言
70,040
社区成员
243,245
社区内容
发帖
与我相关
我的任务
C语言
C语言相关问题讨论
复制链接
扫一扫
分享
社区描述
C语言相关问题讨论
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章