Redis缓存过期导致并发请求穿透至数据库
高并发下,多个请求同时访问一条数据,由于缓存已经过期,而查询数据库需要一定时间,故在查询数据期间会有大量并发请求同时穿透至数据库
目前高并发项目会在数据库之上引入数据缓存:
1. 缓存雪崩,什么是雪崩效应?
缓存雪崩可能是因为数据未加载到缓存中,或者缓存同一时间大面积的失效,从而导致所有请求都去查数据库,导致数据库CPU和内存负载过高,甚至宕机。
我的理解的雪崩效应是在分层服务调用的系统中,当一个较为基础的服务a因某种原因不可用,导致其调用服务b,c也不可用,而b的不可用又导致其调用服务e,f的不可用,不可用的服务就好像滚雪球一样越滚越大,最后导致系统出现严重故障。我们称之为雪崩效应。如图。
以此为例,当数据库主备都不可用时,将导致其调用服务的关联失效(红色组件)
2.基于redis数据过时失效的策略,在缓存过期的短时间内存在数据库短暂压力问题,如下:
为解决上述问题(主要是后者),可采用一下解决方案如下:
这里我们以两个键值对的缓存代替之前的一个,将缓存时间(key-time),和缓存数据(key-data)分离,这样
1.当缓存过期时,第一个线程发现key-time没有,则先更新key-time,
2.然后去查询数据库(或任何比较耗时的数据查询方式),并更新key-data的值,
3.当后续线程来获取数据时,虽然第一个还没有从数据库查完并更新缓存,但发现key-time存在,会获取旧的数据。
虽然按这种方式获取的数据中c类型的数据为旧数据,但可以做到:
在缓存过期时不至于在短时间内对数据库造成较高压力(解决第2个问题)。
在数据库不可用,同时缓存过期的时候,其调用服务皆不可用,造成连锁反应,而已该解决方式,则可以返回过期数据,为修复数据库赢得宝贵时间(缓解雪崩效应)
示例代码:
Redis 获取数据
public static String get(String key) {
Jedis jedis = null;
int redisIndex = RedisUtils.getRedisIndex(key);
try {
jedis = getRedis(redisIndex);
jedis.select(1);
// 缓存过期 && 获取锁成功
// setnx:原子操作,如果不存在则设置值,并返回1。如果缓存存在,则返回0,设置缓存失败
if(jedis.setnx("lock_"+key, System.currentTimeMillis()+"")==1){
/**
* 将锁的有效时间设为60s,在60s内如果查询数据库成功,则更新该锁的失效时间=缓存时间。
* 如果60s内出现异常,则60s后第一个请求又会去访问数据库...
* 返回null表示没有查询到数据库,外层代码会通过数据库获取数据
*/
jedis.expire("lock_"+key, 60);
return null;
}
// (缓存未过期) || (缓存过期,但是获取锁失败) then 返回旧的数据
else{
jedis.select(0);
return jedis.get(key);
}
} catch (JedisException e) {
if (jedis != null) {
returnBrokenResource(jedis, redisIndex);
// 避免在finally中再次关闭reids
jedis = null;
}
throw e;
} finally {
if (jedis != null) {
returnResource(jedis, redisIndex);
}
}
}
Redis 缓存数据
public static boolean set(String key, String value, int seconds) {
Jedis jedis = null;
int redisIndex = RedisUtils.getRedisIndex(key);
try {
jedis = getRedis(redisIndex);
if (seconds > 0){
// 添加缓存,缓存有效时间=真实时间+1天
jedis.setex(key, seconds + 60 * 60 *24 , value);
jedis.select(1);
// 添加缓存锁,有效时间 =真实时间
jedis.setex("lock_" + key, seconds, System.currentTimeMillis()+"");
}else{
jedis.set(key, value);
jedis.select(1);
jedis.set("lock_" + key, System.currentTimeMillis()+"");
}
return true;
} catch (JedisException e) {
if (jedis != null) {
returnBrokenResource(jedis, redisIndex);
// 避免在finally中再次关闭reids
jedis = null;
}
throw e;
} finally {
if (jedis != null) {
returnResource(jedis, redisIndex);
}
}
}