【全球聚看点】面试官：Redis 大 key 要如何处理？

作者：小林coding

八股文网站：xiaolincoding.com

【资料图】

大家好，我是小林。

今天来聊聊，关于 Redis 大 key 的四个问题。

什么是 Redis 大 key？大 key 会造成什么问题？如何找到大 key ？如何删除大 key？什么是 Redis 大 key？

大 key 并不是指 key 的值很大，而是 key 对应的 value 很大。

一般而言，下面这两种情况被称为大 key：

String 类型的值大于 10 KB；Hash、List、Set、ZSet 类型的元素的个数超过 5000个；大 key 会造成什么问题？

大 key 会带来以下四种影响：

客户端超时阻塞。由于 Redis 执行命令是单线程处理，然后在操作大 key 时会比较耗时，那么就会阻塞 Redis，从客户端这一视角看，就是很久很久都没有响应。引发网络阻塞。每次获取大 key 产生的网络流量较大，如果一个 key 的大小是 1 MB，每秒访问量为 1000，那么每秒会产生 1000MB 的流量，这对于普通千兆网卡的服务器来说是灾难性的。阻塞工作线程。如果使用 del 删除大 key 时，会阻塞工作线程，这样就没办法处理后续的命令。内存分布不均。集群模型在 slot 分片均匀情况下，会出现数据和查询倾斜情况，部分有大 key 的 Redis 节点占用内存多，QPS 也会比较大。如何找到大 key ？ 1、redis-cli --bigkeys 查找大key

可以通过 redis-cli --bigkeys 命令查找大 key：

redis-cli-h127.0.0.1-p6379-a"password"--bigkeys

使用的时候注意事项：

最好选择在从节点上执行该命令。因为主节点上执行时，会阻塞主节点；如果没有从节点，那么可以选择在 Redis 实例业务压力的低峰阶段进行扫描查询，以免影响到实例的正常运行；或者可以使用 -i 参数控制扫描间隔，避免长时间扫描降低 Redis 实例的性能。

该方式的不足之处：

这个方法只能返回每种类型中最大的那个 bigkey，无法得到大小排在前 N 位的 bigkey；对于集合类型来说，这个方法只统计集合元素个数的多少，而不是实际占用的内存量。但是，一个集合中的元素个数多，并不一定占用的内存就多。因为，有可能每个元素占用的内存很小，这样的话，即使元素个数有很多，总内存开销也不大；2、使用 SCAN 命令查找大 key

使用 SCAN 命令对数据库扫描，然后用 TYPE 命令获取返回的每一个 key 的类型。

对于 String 类型，可以直接使用 STRLEN 命令获取字符串的长度，也就是占用的内存空间字节数。

对于集合类型来说，有两种方法可以获得它占用的内存大小：

如果能够预先从业务层知道集合元素的平均大小，那么，可以使用下面的命令获取集合元素的个数，然后乘以集合元素的平均大小，这样就能获得集合占用的内存大小了。List 类型：LLEN命令；Hash 类型：HLEN命令；Set 类型：SCARD命令；Sorted Set 类型：ZCARD命令；如果不能提前知道写入集合的元素大小，可以使用 MEMORY USAGE命令（需要 Redis 4.0 及以上版本），查询一个键值对占用的内存空间。3、使用 RdbTools 工具查找大 key

使用 RdbTools 第三方开源工具，可以用来解析 Redis 快照（RDB）文件，找到其中的大 key。

比如，下面这条命令，将大于 10 kb 的 key 输出到一个表格文件。

rdbdump.rdb-cmemory--bytes10240-fredis.csv

如何删除大 key？

删除操作的本质是要释放键值对占用的内存空间，不要小瞧内存的释放过程。

释放内存只是第一步，为了更加高效地管理内存空间，在应用程序释放内存时，操作系统需要把释放掉的内存块插入一个空闲内存块的链表，以便后续进行管理和再分配。这个过程本身需要一定时间，而且会阻塞当前释放内存的应用程序。

所以，如果一下子释放了大量内存，空闲内存块链表操作时间就会增加，相应地就会造成 Redis 主线程的阻塞，如果主线程发生了阻塞，其他所有请求可能都会超时，超时越来越多，会造成 Redis 连接耗尽，产生各种异常。

因此，删除大 key 这一个动作，我们要小心。具体要怎么做呢？这里给出两种方法：

分批次删除异步删除（Redis 4.0版本以上）1、分批次删除

对于删除大 Hash，使用 hscan命令，每次获取 100 个字段，再用 hdel命令，每次删除 1 个字段。

Python代码：

defdel_large_hash():r=redis.StrictRedis(host="redis-host1",port=6379)large_hash_key="xxx"#要删除的大hash键名cursor="0"whilecursor!=0:#使用hscan命令，每次获取100个字段cursor,data=r.hscan(large_hash_key,cursor=cursor,count=100)foritemindata.items():#再用hdel命令，每次删除1个字段r.hdel(large_hash_key,item[0])

对于删除大 List，通过 ltrim命令，每次删除少量元素。

Python代码：

defdel_large_list():r=redis.StrictRedis(host="redis-host1",port=6379)large_list_key="xxx"#要删除的大list的键名whiler.llen(large_list_key)>0:#每次只删除最右100个元素r.ltrim(large_list_key,0,-101)

对于删除大 Set，使用 sscan命令，每次扫描集合中 100 个元素，再用 srem命令每次删除一个键。

Python代码：

defdel_large_set():r=redis.StrictRedis(host="redis-host1",port=6379)large_set_key="xxx"#要删除的大set的键名cursor="0"whilecursor!=0:#使用sscan命令，每次扫描集合中100个元素cursor,data=r.sscan(large_set_key,cursor=cursor,count=100)foritemindata:#再用srem命令每次删除一个键r.srem(large_size_key,item)

对于删除大 ZSet，使用 zremrangebyrank命令，每次删除 top 100个元素。

Python代码：

defdel_large_sortedset():r=redis.StrictRedis(host="large_sortedset_key",port=6379)large_sortedset_key="xxx"whiler.zcard(large_sortedset_key)>0:#使用zremrangebyrank命令，每次删除top100个元素r.zremrangebyrank(large_sortedset_key,0,99)

2、异步删除

从 Redis 4.0 版本开始，可以采用异步删除法，用 unlink 命令代替 del 来删除。

这样 Redis 会将这个 key 放入到一个异步线程中进行删除，这样不会阻塞主线程。

关键词： 可以使用 元素个数 释放内存