大数据的存储和查询

2011-07-01 10:48:34 209 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

原形网络（Prototypical Networks）基于PyTorch的实现我在Jay2coomzz的基础上修改了数据处理方式和evaluation_model()方法，作为初学者若有不当之处恳请大家批评指正,原文链接如下： https://blog.csdn.net/weixin_38471579/article/details/102631018 数据集和源码链接将放到评论区文章目录1 数据集一个简单的数据集介绍数据集处理2 搭建网络ＣＮＮProtonets 1 数据集一个简单的数据集介绍 Omniglot数据集一共包含1623 类手写体，每一类中包含20 个样本。其中. 阅读详情

假设有一个虚拟彩票游戏，对一年中的每个月份选择一个方位（东,南,西,北）,做为一个投注（即12个方位），要如何设计存储方式才能快速查询每种投注方式的投注数呢，我知道一共有4的12次方（16777216）个投注方式，很大的数，不太可能把所有方式防在内存里。请各位大侠帮看看

...全文

告别手动下载！用Python脚本5分钟搞定NREL风速数据（附完整API调用代码）本文详细介绍了如何使用Python脚本自动化获取NREL风速数据，从API密钥申请到数据保存的全流程。通过完整的API调用代码和实战技巧，帮助研究人员和开发者高效下载全球高精度风速数据，告别繁琐的手动操作，提升工作效率。阅读详情

zuibird

数据结构与算法 33,026 成员 35,334 内容

+ 关注 + 加入社区

切换为时间正序

inlench 2011-07-01

打赏
举报

[Quote=引用 9 楼 inlench 的回复:]
引用 5 楼 zuibird 的回复:
楼上可能理解有误， 16M存放什么东西？是投注数么，一个长整型，显然不够，其次怎么把一个具体的投注方式对应到你的16M内存的某个位置？

楼上算法有误！
整型就够了！

算法如下：
int *count = new int[16M];
count[N] 用来统计第N种投注方法
N 为一个24bit 的数，每两位代表一个月的方位。

明……
[/Quote]

因此，实际上，如果每种投注最大允许为 2的8次方，内存需求是 16M
如果每种投注最大允许为 2的16次方，内存需求是 32M
如果每种投注最大允许为 2的32次方，内存需求是 64M
如果每种投注最大允许为 2的64次方，内存需求是 128M

inlench 2011-07-01

打赏
举报

[Quote=引用 5 楼 zuibird 的回复:]
楼上可能理解有误， 16M存放什么东西？是投注数么，一个长整型，显然不够，其次怎么把一个具体的投注方式对应到你的16M内存的某个位置？
[/Quote]
楼上算法有误！
整型就够了！

算法如下：
int *count = new int[16M];
count[N] 用来统计第N种投注方法
N 为一个24bit 的数，每两位代表一个月的方位。

明白了吗？

zuibird 2011-07-01

打赏
举报

"24bit的整数" - -!

能说说你的这个“24bit的整数”怎么对应到内存中的那个投注数么？

inlench 2011-07-01

打赏
举报

这个怎么不能放在内存里！最快的方法就是放在内存里。
4的12次方 = 16 M
每种投注方式用 4 字节的整数记录，也就只需要 4*16M = 64 M 内存。
Win32位程序，申请 2G 内存都可以，这点内存算什么！

oo 2011-07-01

打赏
举报

长整型才8个字节 8*16M也才128M啊

对应方式很简单啊：
东,南,西,北分别对应两个bit的：00，01，10，11
有12个月，就是12个这样的2个bit，拼起来就是一个 24bit的整数啊。

zuibird 2011-07-01

打赏
举报

楼上可能理解有误， 16M存放什么东西？是投注数么，一个长整型，显然不够，其次怎么把一个具体的投注方式对应到你的16M内存的某个位置？

wuddny 2011-07-01

打赏
举报

楼主可以考虑下分布式nosql数据库的存储，比如mongodb 如果文件的话过多小文件对IO负荷很大。如果存储的数有规律的话，最好压缩一下。

oo 2011-07-01

打赏
举报

4的12次方（16777216）

16M，放到内存里不是可以吗？

win32你可以用2G内存的，16M小case

zuibird 2011-07-01

打赏
举报

这个具体的投注数实时变动，数据库的效率跟不上。

我在考虑用文件，但不清楚怎样设计每种投注方式与文件的对应关系

leonardo1986 2011-07-01

打赏
举报

数据库

axin36520101688 2011-07-01

打赏
举报

555

大数据的存储和查询

相关推荐