-
等级
本版专家分：2744结帖率 97.55% -
Memcache 穿透问题，命中率低下问题。兄弟们谁知道原因及解决方法。谢谢兄弟们。展开阅读全文
-
等级
本版专家分：2744
-
1，memcached的分布式里的不同的机器内容不同步。
2，当增加机子的时候 memcached服务器会根据key重新计算 每一个键值对的 存放ip，规则你可以复写；他自己有个算法 一个key永远指向 一台服务器，如果更新了台数 那memeched会自己调配 过一段时间才能适应。
------------上面是我个人的浅见。大家怎么看这个问题 。
-
等级
本版专家分：2744
-
Mutex主要用于有大量并发访问并存在cache过期的场合，如
* 首页top 10, 由数据库加载到memcache缓存n分钟
* 微博中名人的content cache, 一旦不存在会大量请求不能命中并加载数据库
* 需要执行多个IO操作生成的数据存在cache中, 比如查询db多次
问题
在大并发的场合，当cache失效时，大量并发同时取不到cache，会同一瞬间去访问db并回设cache，可能会给系统带来潜在的超负荷风险。我们曾经在线上系统出现过类似故障。
解决方法
方法一
在load db之前先add一个mutex key, mutex key add成功之后再去做加载db, 如果add失败则sleep之后重试读取原cache数据。为了防止死锁，mutex key也需要设置过期时间。伪代码如下
(注：下文伪代码仅供了解思路，可能存在bug，欢迎随时指出。)
if (memcache.get(key) == null) {
// 3 min timeout to avoid mutex holder crash
if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {
value = db.get(key);
memcache.set(key, value);
memcache.delete(key_mutex);
} else {
sleep(50);
retry();
}
}
方法二
在value内部设置1个超时值(timeout1), timeout1比实际的memcache timeout(timeout2)小。当从cache读取到timeout1发现它已经过期时候，马上延长timeout1并重新设置到cache。然后再从数据库加载数据并设置到cache中。伪代码如下
v = memcache.get(key);
if (v == null) {
if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {
value = db.get(key);
memcache.set(key, value);
memcache.delete(key_mutex);
} else {
sleep(50);
retry();
}
} else {
if (v.timeout <= now()) {
if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {
// extend the timeout for other threads
v.timeout += 3 * 60 * 1000;
memcache.set(key, v, KEY_TIMEOUT * 2);
// load the latest value from db
v = db.get(key);
v.timeout = KEY_TIMEOUT;
memcache.set(key, value, KEY_TIMEOUT * 2);
memcache.delete(key_mutex);
} else {
sleep(50);
retry();
}
}
}
相对于方案一
优点：避免cache失效时刻大量请求获取不到mutex并进行sleep
缺点：代码复杂性增大，因此一般场合用方案一也已经足够。
方案二在Memcached FAQ中也有详细介绍 How to prevent clobbering updates, stampeding requests，并且Brad还介绍了用他另外一个得意的工具 Gearman 来实现单实例设置cache的方法，见 Cache miss stampedes，不过用Gearman来解决就感觉就有点奇技淫巧了。
附：本次Web2.0技术沙龙演讲主题：微博Cache设计谈，需下载请点击演讲稿下menu/download (需登录slideshare)。
-
等级
本版专家分：585 -
关注一下
- nginx+memcache使用
为了提高性能，几乎所有互联网应用都有缓存机制，其中Memcache是使用非常广泛的一个分布式缓存系统。众所周知，LAMP是非常经典的Web架构方式，但是随着Nginx的成熟，越来越多的系统开始转型为LNMP（Linux+Nginx+...
- Mysql性能优化教程
原文： http://wenku.baidu.com/view/aa43ecc3aa00b52acfc7ca94.html?st=1 Mysql性能优化教程 目录 目录 1 背景及目标 2 Mysql执行优化 2 认识数据索引 2 为什么使用数据索引能提高效率 2 ...影
- 构建高并发高可用的电商平台架构实践
各个维度总结电商平台中的高并发高可用的架构实践，从架构设计的理念到平台的逻辑架构，以及到平台架构中各个模块的介绍
- 如何在高并发分布式系统中生成全局唯一Id
但这篇博文实际上是“半分享半讨论”的博文： 1) 半分享是我将说下我所了解到的关于今天主题所涉及的几种方案。 2) 半讨论是我希望大家对各个方案都说说自己的见解，更加希望大家能提出更好的方案。...
- MySQL优化之my.conf配置详解
最近项目不太忙，所以有时间静心来研究下mysql的优化，对于MySQL的设置是否合理优化，直接影响到网站的速度和承载量！同时，MySQL也是优化难度最大的一个部分，不但需要理解一些MySQL专业知识，同时还需要长时间的...
- Java构建高并发高可用的电商平台架构实践
转自http://blog.csdn.net/yangbutao/article/details/12242441[置顶] 构建高并发高可用的电商平台架构实践标签： 架构电商高并发高可用实践2013-10-03 14:42 101565人阅读 评论(52)收藏举报分类： 云计算（6） 电商...
- 分布式服务框架
第2 章 分布式系统基础设施 chapter 第2 章 分布式系统基础设施 │ 59 一个大型、稳健、成熟的分布式系统的背后，往往会涉及众多的支撑系统，我们将这些支 撑系统称为分布式系统的基础设施。除了前面所介绍的分布式...
- 一个大型高并发系统的性能调优会涉及到什么？
现在一个系统的性能不单单涉及到软件系统本身，还要涉及到使用的框架性能的优劣，数据库性能的优劣，硬件设施的优劣。所以对于一个系统性能的优化，不仅涉及到项目所建立在的那个项目的软件系统，而且还涉及到数据库...
- 网站架构资料收集整理
1.系统概况图 图1.1 系统架构概况图 图1.2 较为完整的系统架构图 2.系统使用的主要技术 下列排名不分先后 2.1前端 JavaScript，html，css，...最新版本是1.7.1，分为开发环境（大小为229k）和生产环
- [转]蚂蚁变大象：浅谈常规网站是如何从小变大的
作者：老王 ... ... ...2005年，我开始和朋友们开始拉活儿做网站，当时第一个网站是在linux上用jsp搭建的，到后来逐步的引入了多种框架，如webwork、hibernate等。在到后来，进入公司，开始用c/c++
- 并行学习总结
Thread的提出有一部分原因就是来...所以采用进程中开多个线程来提高通信效率避免进程间通信效率低下的问题，再把每个线程绑定到每个核上去就可以避免线程切换带来的开销弊端。再开多个进程进而把所有的核都利用起来
- lamp架构师必看经典
负载均衡 LVS 工作在四层，内核态，性能极高，有VIP功能，配合 keepalived 做有效的 心跳检查和负载均衡安装配置麻烦， HAProxy 工作在四层到七层，功能强大，有VIP功能，配置简单，CPU占用高 ...
- 使用memc-nginx和srcache-nginx模块构建高效透明的缓存机制
为了提高性能，几乎所有互联网应用都有缓存机制，其中Memcache是使用非常广泛的一个分布式缓存系统。众所周知，LAMP是非常经典的Web架构方式，但是随着Nginx的成熟，越来越多的系统开始转型为LNMP（Linux+Nginx+...
- 高并发高可用的 架构实践
一、 设计理念 1. 空间换时间 1) 多级缓存，静态化 客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server...应用端的缓存(memcache) 内存数据库 Buffer、
- PHP相关系列 - 蚂蚁变大象：浅谈常规网站是如何从小变大的
2005年，我开始和朋友们开始拉活儿做网站，当时第一个网站是在linux上用jsp搭建的，到后来逐步的引入了多种框架，如webwork、hibernate等。在到后来，进入公司，开始用c/c++，做分布式计算和存储。...
- PHP 面试知识点整理归纳
全文已整理补充完毕，以后还会继续更新文章里面的错误，以及补充尚不完善的问题。 该篇文章是针对Github上wudi/PHP-Interview-Best-Practices-in-China资源的答案个人整理 lz也是初学者，以下知识点均为自己整理且...
- java面试题文档(QA)
关注公众号『Java专栏』,发送『面试』 获取该项目完整PDF [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dzm8O4kR-1587954091979)(qr_code.jpg)] 基础篇 1、 Java语言有哪些特点 ...
- Java学习之路
第一部分是我在参加2018春招时所写，主要记录了我在...第一部分：Java后端学习之路 第二部分：我的秋招回忆录 第三部分：我的秋招经验分享（研发方向） 一、Java后端学习之路 这部分内容是我在准备2018年春招的时...
- 关于大型网站技术演进的思考
关于大型网站技术演进的思考（一）--存储的瓶颈（1） 前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训，两天12个... 首先我们要思考一个问题，什么样的网站才是大型网站，从网站的技术指标
- Mysql 性能优化教程
Mysql 性能优化教程 ... l 针对用户群为已经使用过mysql环境...l 以实战和解决具体问题为主要目标，非应试，非常规教育。友情提醒，在校生学习本教程可能对成绩提高有害无益。 l 非技术挑战，非高端架构师培训，请高
- 狂神说 Redis笔记
随着用户增多，网站出现以下问题 数据量增加到一定程度，单机数据库就放不下了 数据的索引（B+ Tree）,一个机器内存也存放不下 访问量变大后（读写混合），一台服务器承受不住。 2、Memcached(缓存) + Mysql + ...
- 网站（B/s）架构发展探索、分析
1.系统概况图 图1.1 系统架构概况图 图1.2 较为完整的系统架构图 2.系统使用的主要技术 下列排名不分先后 2.1前端 JavaScript，html，css，...最新版本是1.7.1，分为开发环境（大小为229k）和生产环
- Premiere2019破解版
文档内包含pr2019版本的破解版，只需在解压后点击Setup.exe即可一键安装。
- jd_seckill-master.rar
京东茅台秒杀，需要会员，不保证秒杀成功，自己配置！！！
- python爬虫20个案例
讲诉python爬虫的20个案例 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
- 淘宝/天猫/京东/拼多多/苏宁易购/小米商城/华为商城/抖音直播/茅台抢购助手
淘宝/天猫/京东/拼多多/苏宁易购/小米商城/华为商城/抖音直播/茅台抢购助手，功能非常多，很强大的一款秒杀抢购软件！
- 9套大气漂亮的html+css网站模板、网页设计源码
网页大气，美观，设计合理 1.html班级网页设计模板 2.html动漫网页设计模板 3.html个人网页设计模板 4.html化妆品网页设计模板 5.html咖啡网页设计模板 6.html旅游网页设计模板 7.html商城网页设计模板 8.html书店网页设计模板 9.html公司网页设计模板
- 抢茅台jd_seckill-master 来自huanghyw
本仓库发布的jd_seckill项目中涉及的任何脚本，仅用于测试和学习研究，禁止用于商业用途，不能保证其合法性，准确性，完整性和有效性，请根据情况自行判断。 本项目内所有资源文件，禁止任何公众号、自媒体进行任何形式的转载、发布。 huanghyw 对任何脚本问题概不负责，包括但不限于由任何脚本错误导致的任何损失或损害. 间接使用脚本的任何用户，包括但不限于建立VPS或在某些行为违反国家/地区法律或相关法规的情况下进行传播, huanghyw 对于由此引起的任何隐私泄漏或其他后果概不负责。 请勿将jd_seckill项目的任何内容用于商业或非法目的，否则后果自负。
- 茅台、鞋子、手机、抢购、软件，抢购秒杀
最近各大电商平台不断持续放货，京东，天猫，苏宁，网易等，还有新加入的大军，酒仙网，，国美，华润万家和主播等等……给平台带去了巨大流量。 看到很多小伙伴都撸货撸到手发软，发财发到腿抽筋。一瓶几百+，你算算，这能赚多少钱。是不是不想上班的那种，上班一天才两三百，什么时候才能买到房子。 今天带来一个福利。那就是抢购软件，很实用。朋友圈好多都在用这个抢购。内有教程仔细阅读。最后祝每个伙伴都抢到 赚到
- Visio_2016
visio_2016下载安装，亲测可用，不需要破解，而且无秘钥。简单方便实用