Redis的指令看不出哪一类型的key,占用了多少内存,不好分析redis内存开销大的情况下,各应用程序使用缓存的占比。
借助第3方工具进行分析
1、采用2个工具结合
redis-rdb-tools+sqlite
2、sqlite linux服务器都会自带,安装redis-rdb-tools
使用pip安装 pip install redis-rdb-tools
源码安装
git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
python setup.py install
如果不成功安装 yum install python-setuptools
3、获取对应redis的rdb文件,使用redis-rdb-tools生成内存快照
rdb -c memory dump.rdb > memory.csv
注意:内存使用量是理论上的近似值,在一般情况下,略低于实际值
4、把数据导入sqlite(mysql数据库实际上都能导入),sqlite语法和mysql基本一致
splite3 test.db sqlite> create table memory(database int,type varchar(128),key varchar(128),size_in_bytes int,encoding varchar(128),num_elements int,len_largest_element varchar(128),time varchar(128)); sqlite>.mode csv memory sqlite>.import memory.csv memory
5、查询
查询key个数
sqlite>select count(*) from memory;
查询总的内存占用
sqlite> select sum(size_in_bytes) from memory;
查询内存占用最高的10个key
sqlite>select * from memory order by size_in_bytes desc limit 10;
补充知识:Redis使用量暴增,快速定位有哪些大key在作怪
发现redis使用量突然暴增,于是紧急扩容redis,不能影响服务运行。扩容之后,赶紧查找原因,突破口就是寻找存在哪些大key。
1. 将redis的dump.rdb文件下载到本地(一般redis的持久化文件以rdb的方式存储,在redis配置文件可以找到dump.rdb的存储路径)。
2. 用rdbtools工具生产内存报告,命令是 rdb -c memory,例子:
sudo rdb -c memory /redisfile/dump.rdb >test.csv
注意:rdb文件越大,生成时间越长。
Rdbtools是以python语言开发的。
GITHUP地址:https://github.com/sripathikrishnan/redis-rdb-tools/
3. 内存报告生成后,结合用linux sort命令排序,根据內存列排序,找出最高的key有哪些。例子:
sudo sort -k4nr -t , test.csv > sort.txt
4. 查看前1000个排序最高的数据
awk -F ',' '{print substr($3, 0,18)}' sort.txt | head -1000 | sort -k1 | uniq
5. 查看sort.txt的结果,一般能得出类似‘my_rank_top'开头的集合占用最高,排在了前面。
若要查看类似‘my_rank_top'开头的key总共占用了多少内存,可以用命令:
sudo cat sort.txt | grep ‘my_rank_top' | awk -F ',' '{sum += $4};END {print sum}'
6. 得知了my_rank_top这样的key占用最多内存,而且很可能是业务已经不再需要,但是长期在内存中没清理的,我们可以删除了这些集合。可以用模糊匹配key来删除,命令如下:
redis-cli -h 127.0.0.1 -p 6379 keys 'my_ranking_list*' | xargs redis-cli -h 127.0.0.1 -p 6379 del
另附:在本地启动redis加载dump.rdb文件时,一直load失败。搞了很长时间,终于找到原因:redis配置文件里databases要修改为256,本地默认是16,而产生原始dump.rdb的redis的databases就是25。
以上这篇基于redis key占用内存量分析就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持易盾网络。