不过对于海量数据（比如web页面），不可能全部加在到内存中，想cache用户经常访问的page，把所有页面都加权重，建堆也是不大可能的。、
抛砖引玉
我的一个想法是cache最近的一些页面，比如给每个页面一个权重（最近时间，近期访问次数），长时间没有访问的页面权重会变得很低，这样能限制堆的大小。
-
等级
本版专家分：0结帖率 100% -
一般的cache（比如主存的页面替换算法）都会给每个元素一个权重（访问频率，时间等），然后用堆来做。
不过对于海量数据（比如web页面），不可能全部加在到内存中，想cache用户经常访问的page，把所有页面都加权重，建堆也是不大可能的。、
抛砖引玉
我的一个想法是cache最近的一些页面，比如给每个页面一个权重（最近时间，近期访问次数），长时间没有访问的页面权重会变得很低，这样能限制堆的大小。展开阅读全文
-
等级
本版专家分：0
-
海里数据，一般用web端缓存
cache缓存数据太大了，扛不住
利用人多力量大的原理。
先利用客户端缓存
-
等级
本版专家分：0
-
用户端是可以cache，那就等同于每个用户就访问特定页面一次，但当用户量也很大的时候，服务器被请求的页面数依然很大（每个页面被请求次数可能也很多）
-
等级
本版专家分：0
-
web页面请求过程是，先从客户端向服务端发送请求url，服务器端再计算，向客户端返回页面。对访问频率高的数据是要进行缓存的，这个时候当然是缓存到服务器端。比如说，一个高考查询的程序。假设有50万条学生成绩。这个时候，应该是采用服务器端缓存的。服务器端缓存应该是对访问频率高，而且数据很少改变的数据信息。
-
等级
本版专家分：0
-
静态页面或者更新很少的可以走CDN
-
等级
本版专家分：0 -
对于处理海量数据，目前还没真正接触过，期待高手！！！
-
等级
本版专家分：0
-
基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出400万行，经测试软件测试处理的误差为千分之五，客户可以接受。
还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。
海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。
不知道这个有用不
-
等级
本版专家分：0勋章
-
- 红花 2009年2月 专题开发/技术/项目大版内专家分月排行榜第一
-
-
黄花
2010年3月 专题开发/技术/项目大版内专家分月排行榜第二
2009年6月 专题开发/技术/项目大版内专家分月排行榜第二
2009年5月 专题开发/技术/项目大版内专家分月排行榜第二
2009年1月 专题开发/技术/项目大版内专家分月排行榜第二
-
-
蓝花
2010年11月 专题开发/技术/项目大版内专家分月排行榜第三
2010年5月 专题开发/技术/项目大版内专家分月排行榜第三
2009年12月 专题开发/技术/项目大版内专家分月排行榜第三
2009年11月 专题开发/技术/项目大版内专家分月排行榜第三
2009年8月 专题开发/技术/项目大版内专家分月排行榜第三
2009年4月 专题开发/技术/项目大版内专家分月排行榜第三
2009年3月 专题开发/技术/项目大版内专家分月排行榜第三
2008年12月 专题开发/技术/项目大版内专家分月排行榜第三
-
-
可以试试用最后访问时间做一个优先队列！当队列长度或内存占用达到某固定值后。
每次用户访问新页面的话，就把最老的页面抛弃，把新的加入！
- 海量数据处理 算法总结
1. Bloom Filter【Bloom Filter】Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。...
- 海量数据处理常用算法、数据结构总结
1. Bloom Filter 【Bloom Filter】 Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素...Bloom Filter判断元素不在集合，那肯定不在；如果判断元素存在
- 海量数据处理算法总结【超详解】
1. Bloom Filter【Bloom Filter】Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。...
- 从算法的角度去考虑处理海量数据——海量数据处理算法总结
Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。Bloom Filter有可能会出现错误判断，...
- 前端面试题
前端面试题汇总 ... 你做的页面在哪些流览器测试过？这些浏览器的内核分别是什么?...它和Standards模式有什么区别 21 div+css的布局较table布局有什么优点？ 22 img的alt与title有何异同？ strong与em的异同？ 22 你能...
- 超详细海量数据处理算法总结
1. Bloom Filter【Bloom Filter】Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。...
- 海量数据处理算法总结
Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。Bloom Filter有可能会出现错误判断，...
- 海量数据处理算法
【Bloom Filter】Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。Bloom Filter有可能...
- 算法13_10种海量数据处理方法
Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。Bloom Filter有可能会出现错误判断，...
- 海量数据处理（2）-算法总结
经典问题分析 上千万or亿数据（有 重复），统计其中出现次数最多的前N个数据,分两种情况：可一次读入内存，不可一次读入。 可用思路：trie树+堆，数据库索引，划分 子集分别统计，hash，分布式计算，近似统计，外...
- 如何处理海量数据（长文）
在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条...
- 分布式服务框架
第2 章 分布式系统基础设施 chapter 第2 章 分布式系统基础设施 │ 59 一个大型、稳健、成熟的分布式系统的背后，往往会涉及众多的支撑系统，我们将这些支 撑系统称为分布式系统的基础设施。除了前面所介绍的分布式...
- 常见数据结构和算法实现(排序/查找/数组/链表/栈/队列/树/递归/海量数据处理/图/位图)
入门《大话数据结构 程杰》《算法图解》《数据结构与算法分析：Java语言描述》(大学课本 伪代码)《剑指offer》《编程珠玑》(对大数据量处理的算法)《编程之美》(超级难)《算法导论》(很厚很无聊)《算法第四版》(推荐...
- Java面试题大全（备战2021）
这本面试手册包含了Java基础、Java集合、JVM、Spring、Spring Boot、Spring Cloud、Mysql、Redis、RabbitMQ、Dubbo、Netty、分布式及架构设计等方面的技术点。内容难度参差，满足初中高级Java工程师的面试需求。
- xshell & xftp.zip
xshell6 和 xftp6个人版，直接安装即可使用。
- matlab2018a下载
matlab2018a种子，包括百度网盘链接，迅雷链接等。可用迅雷下载
- 七夕情人节表白HTML源码(两款)
七夕节、情人节表白用的HTML源码(两款)
- 以太坊ETH挖矿图文教程2.0
本教程页数不多，7页，主要描述如何使用以太坊ETH挖矿，图文并茂的展示和流程细节的体现，基本看了一遍就肯定能够学会了。
- Java初级从入门到精通
课程分为：J2SE 基础阶段，中级阶段，阶段; 课间会讲解一些小程序的开发：如：猜拳游戏,模拟银行柜员机程序，退休金结算程序等.
- jd_seckill京东抢茅台插件最新版【京东飞天茅台1499抢购】Python脚本的完整安装+使用教程
jd_seckill京东抢茅台插件最新版【京东飞天茅台1499抢购】Python脚本的完整安装+使用教程，这个很好用，稳定出单！
- 手把手做安卓应用开发
安豆是一个想学Android应用开发的小白，于是它找到自己的邻居－程序员大牛－熊哥帮忙。熊哥手把手带着安豆搭建程序的开发环境，实现应用的功能，美化应用界面，让安豆终于开发出了自己的第一个安卓应用－计算器。 学习的过程中，两个伙伴有问有答，学习的过程生动有趣。你一定不会睡着。 让从没有接触过安卓开发并且什么都不会的小白，变成一个能够开发出简单的计算器应用的菜鸟。 让小白对安卓开发有个整体的认识，初步形成安卓开发的概念，掌握安卓开发最最基础的知识。
- SecureCRT中文破解版
SecureCRT中文破解版欢迎大家下载，非最新版本！！！
- Xshell-7.0个人免费版.zip
Xshell-7.0个人免费版 ，供个人免费使用。 Xshell 是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。Xshell可以在Windows界面下用来访问远端不同系统下的服务器，从而比较好的达到远程控制终端的目的。除此之外，其还有丰富的外观配色方案以及样式选择。
- C Primer Plus 第6版 中文版.pdf带书签非扫描版良心资源
C+Primer+Plus（第6版）中文版,不是扫描版,而是文字电子书，非常的高清，带目录
- Activiti 工作流入门到大神
什么是流程、工作流作用、Activiti背景简介、Activiti流程设计器安装、Activity环境搭建、通过HelloWorld掌握 Activiti操作流程的步奏、常见API使用、流程部署管理(发布流程、查看流程定义、删除流程、查看流程附件)、流程实例管理(启动流程、查看任务、认领任务、办理任务、查看流程状态) 什么是流程、工作流作用、Activiti背景简介、Activiti流程设计器安装、Activity环境搭建、通过HelloWorld掌握 Activiti操作流程的步奏、常见API使用、流程部署管理(发布流程、查看流程定义、删除流程、查看流程附件)、流程实例管理(启动流程、查看任务、认领任务、办理任务、查看流程状态) QQ:362969068
- spss16.0免费破解版
SPSS 16.0是一款专业的统计分析软件，它可以快速实现数据的数理统计、相关分析、正态分布检验等功能，是一款实用强大的数据统计软件。
- Office2016专业增强版中文免费正式版(附安装教程)64位
Microsoft office 2016专业增强版是一款由官方发布的Microsoft office办公软件，而且免费开放给所有Windows用户免费使用，其中Excel、word、PPT都非常智能化，界面最新加入暗黑主题，并且按钮的设计风格开始向Windows10靠拢。本平台提供Office 2016专业增强版，需要的朋友可下载试试！ Office 2016 专业增强版安装教程 1. 下载
- 京东抢茅台改进版_python.zip
自动抢购京东53度飞天茅台python脚本改进版，提供脚本源代码仅供大家学习研究，亲测有效已经抢到1瓶，欢迎改进升级
- OpenGL
课程涵盖了OpenGL开发的方方面面,对开发中经常用到的开发知识点进行讲解,从实战的角度进行编码设计. 第1章-环境建立 第2章-基础图元 第3章-三维世界 第4章-纹理多彩世界 第5章-显存的分配-优化 第6章-场景控制 第7章-光照-真实世界 第8章-模型 第9章-UI制作 第10章-场景编辑器制作 第11章-地形 第12章-脚本引入-lua 教程从最最本的固定管线开始,一节课一个知识点,从实战的角度出发,结合项目开发中经常用到的知识点作深入的讲解,以面向对象的编成方式对知识点进行封装,可以直接引入到项目中使用.通过课程的学习,掌握OpenGL图形编程技巧,并能学以致用.
- python新浪微博爬虫，爬取微博和用户信息 (含源码及示例)
这是新浪微博爬虫，采用python+selenium实现。 免费资源，希望对你有所帮助，虽然是傻瓜式爬虫，但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章： http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括： 新浪微博手机端用户信息和微博信息。 用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。 微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等。 安装过程： 1.先安装Python环境，作者是Python 2.7.8 2.再安装PIP或者easy_install 3.通过命令pip install selenium安装selenium，它是自动测试、爬虫的工具 4.然后修改代码中的用户名和密码，填写你自己的用户名和密码 5.运行程序，自动调用Firefox浏览器登陆微博 注意：手机端信息更加精致简单，而且没有动态加载的一些限制，但是如微博或粉丝id只显示20页，这是它的缺点； 而客户端可能存在动态加载，如评论和微博，但是它的信息更加完整。 [源码] 爬取移动端微博信息 spider_selenium_sina_content.py 输入： 明星用户id列表，采用URL+用户id进行访问（这些id可以从一个用户的关注列表里面获取） SinaWeibo_List_best_1.txt 输出： 微博信息及用户基本信息 SinaWeibo_Info_best_1.txt Megry_Result_Best.py 该文件用户整理某一天的用户微博信息，如2016年4月23日 [源码] 爬取客户端微博信息 爬取客户端信息，但是评论是动态加载，还在研究中 weibo_spider2.py By:Eastmount 2016-04-24