社区
图形处理/算法
帖子详情
如何把大量数据保存在程序内部并实现查询?
bborn
2007-11-28 11:49:58
有大概几万条数据
需要保存到程序中,而不使用额外的数据库文件
并实现查询的功能
请问有什么好的办法吗?
...全文
277
9
打赏
收藏
如何把大量数据保存在程序内部并实现查询?
有大概几万条数据 需要保存到程序中,而不使用额外的数据库文件 并实现查询的功能 请问有什么好的办法吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
9 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
stivenjia
2007-11-30
打赏
举报
回复
建议用临时文件。
或则结构化内存存储。
再不弄个内存池负责内存的分配回收。
mynamelj
2007-11-30
打赏
举报
回复
其实我也在寻求这样的一个解决方案,就是资源文件格式
oo_v_oo
2007-11-29
打赏
举报
回复
创建定制资源(Custom),将数据拷贝到资源中,然后在程序中按资源使用
mynamelj
2007-11-29
打赏
举报
回复
用for循环查找的效率未必有一条sql语句的效率高,特别是记录非常多的时候
mr.zhoux
2007-11-29
打赏
举报
回复
用list或大数组保存数据对象到内存中,按你的算法去for循环吧查找进行标识吧, 几万条数据不算多,我做过几十万条的,也很快
oakfire
2007-11-29
打赏
举报
回复
如果单条数据量不大,几万条也就占几M内存。我曾经直接用CList来存七万多条语句,查询也没费多长时间,奔三时代的机子都是眨眼就出来。如果对效率不是要求非常高的话,没必要采用特殊的机制。
我经验不多,仅供参考……
bborn
2007-11-29
打赏
举报
回复
对数据的存储了?
我觉得把数据全部放到内存中查询消耗太大了
WingForce
2007-11-29
打赏
举报
回复
才几万条啊。。。
循环好了,也不慢
如果要更快,就要建立其他的辅助结构了。。。
bborn
2007-11-29
打赏
举报
回复
to mynamelj
没有单独的文件 都存放到程序当中 怎么使用sql了?
我的想法是放到资源文件中 然后读取出来查找
不知道有没有更好的办法
大量
大
数据
如何进行
查询
本文探讨了MySQL在大
数据
量下的性能优化策略,包括不同存储引擎(MyISAM与InnoDB)的选择、索引优化、
查询
缓存、SQL语句优化、表结构设计等方面,提供了实用的优化案例。
如何使用python访问Elasticsearch并
实现
大批量
查询
本文分享了使用Python连接Elasticsearch服务器的经验,包括解决初次接触ELK架构时遇到的四大难题:Python连接ES服务器、发送
查询
语句、处理
大量
查询
结果及网络异常自动重连。文中详细介绍了elasticsearch库的使用、QueryDSL
查询
语法、scroll方法以及异常处理技巧。
保存
大量
数据
用sqllite还是indexdb
博客对比了SQLite和IndexDB在
保存
大量
数据
时的差异。SQLite是轻量级嵌入式
数据
库,适用于原生应用,处理复杂
查询
快;IndexDB是事务型
数据
库,适用于Web应用,批量操作读写性能好。还给出选择建议,要基于项目需求、架构和用户群体决定。
使用Elasticsearch处理
大量
数据
,如何翻页
查询
本文介绍了在Elasticsearch中处理
大量
数据
时如何
实现
高效跳页
查询
,包括使用from和size参数、search_after参数以及ScrollAPI,同时强调了优化索引、
查询
性能和缓存的重要性。
elasticSearch
大量
数据
查询
导出报错解决es
本文介绍了两个在使用Elasticsearch过程中遇到的问题及其解决方案。问题1是由于默认bufferLimit限制导致从ES导出
数据
超过10M时抛出异常,解决方案是通过反射修改HttpAsyncResponseConsumerFactory的bufferLimit值。问题2是在同步
大量
数据
到ES时遇到es_rejected_execution_exception,解决方法是将
数据
分批异步
保存
。问题3是Elasticsearch
查询
窗口过大,超过了默认的10000限制,解决办法是调整'max_result_window'参数。
图形处理/算法
19,464
社区成员
50,678
社区内容
发帖
与我相关
我的任务
图形处理/算法
VC/MFC 图形处理/算法
复制链接
扫一扫
分享
社区描述
VC/MFC 图形处理/算法
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章