64,637
社区成员
发帖
与我相关
我的任务
分享提取出某日访问百度次数最多的那个IP
将ip根据前n位分别映射到2^n个不同文件中。建立一个hash表将根据后面32-n位，映射到不同的文件偏移位置，在经过一次遍历文件就可以找出最多ip。这样就可以两次遍历读取最多的ip，空间复杂度较大，用了好多磁盘空间。大约为2^32*4个字节。内存空间较少，只是建立后32-n位的hash映射表。
这种方法在实际中有没有可行性？？？
如果可行的话，是不是可以扩展到经过MD5编码的所有字符串？？（当然md5编码太长，进行优化上面的算法，适当的节省空间）？？？？
这种方法在实际中有没有可行性？？？
如果可行的话，是不是可以扩展到经过MD5编码的所有字符串？？（当然md5编码太长，进行优化上面的算法，适当的节省空间）？？？？
...全文
请发表友善的回复…
发表回复
qq120848369 2013-08-03
- 打赏
- 举报
就算所有IP都有人上线, 才16G内存啊, 怕毛啊, 线上服务器64G内存是最低配了.
qq120848369 2013-08-03
- 打赏
- 举报
写磁盘干啥啊, 内存里都搞定了啊.
fdcumt 2013-08-03
- 打赏
- 举报
我的意思是仅以ip为例，这个方法还可以用到别的上面嘛。
我现在觉得应该是有点缺陷，在写数据时候次数太多，应该维护写几个文件队列，并设置一个队列最大值，等到某一个队列满，再将所有队列一次性写入磁盘，减少磁盘读取次数，节约时间成本。
nice_cxf 2013-08-03
- 打赏
- 举报
ip地址直接转成int就好了,搞那么复杂干什么阿
fdcumt 2013-08-03
- 打赏
- 举报
md5编码多长？？？？？？我只是说思路是否可行，如果过可行是否可以扩展到更广的方面。
fdcumt 2013-08-03
- 打赏
- 举报
如果可行的话，是不是可以扩展到经过MD5编码的所有字符串？？（当然md5编码太长，进行优化上面的算法，适当的节省空间）？？？？
