MoreKey


大批量往redis里面插入2000W测试数据key

• LinuxBash下面执行，插入100w数据脚本
  

1. # 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中
   
2. 
   
3. for((i=1;i<=100*10000;i++));
   
4. do echo "set k$i v$i" >> /tmp/redisTest.txt ;
   
5. done;

复制代码

• 通过Redis提供的管道–pipe命令插入100W大批量数据
  

结合自己机器的地址：

1. cat /tmp/redisTest.txt | redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

复制代码

尝试keys * 花费时间

1. key * 这个指令有致命的弊端，在实际环境中最好不要使用

复制代码

生产上限制keys */flushdb/flushall等危险命令以防止误删误用

1. 通过配置设置禁用这些命令，redistribution。conf在SECURITY这一项中

复制代码

SCAN命令
1.语法

​ 2.特点
​ Redis Scan命令基本语法如下：

1. SCAN cursor [MATCH pattern] [COUNT count]
   
2. ​ cursor -游标
   
3. ​ pattern -匹配的模式
   
4. ​ count -指定从数据集里返回多少元素，默认值为10。

复制代码

SCAN 命令是一个基于游标的迭代器，每次被调用之后， 都会向用户返回一个新的游标， 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数， 以此来延续之前的迭代过程。
SCAN 返回一个包含两个元素的数组，
第一个元素是用于进行下一次迭代的新游标，
第二个元素则是一个数组， 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。
SCAN的遍历顺序
非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。
​ 3.使用

BigKey


多大算Big

参考《阿里云Redis开发规范》

string和二级结构

1. string是value，最大512MB但是≥10KB就是bigkey

复制代码

1. list、hash、set和zset，个数超过5000就是bigkey
   
2. ​ List:一个列表最多可以包含2^32-1个元素(4294967295,每个列表超过40亿个元素)。
   
3. ​ hash:Redis中每个hash可以存储2^32-1键值对(40多亿)
   
4. ​ set:集合中最大的成员数为2^32-1 (4294967295,每个集合可存储40多亿个成员)。
   
5. ​ …

复制代码

危害
1.内存不均，集群迁移困难
2.超时删除，大key删除作梗
3.网络流量阻塞
找出BigKey

1. redis-cli --bigkeys
   
2. <strong>好处</strong>
   
3. 给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小
   
4. <strong>不足</strong>
   
5. 想查询大于10kb的所有key，–bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数
   
6. redis-cli --bigkeys -a 111111
   
7. redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys
   每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

复制代码

1. MEMORY USAGE 键

复制代码

如何删除

String
一般用del，如果过于庞大unlink
hash
使用hscan每次获取少量field-value，再使用hdel删除每个field

list
使用ltrim渐进式逐步删除，直到全部删除完成

set
使用sscan每次获取部分元素，再使用srem命令删除每个元素

Zset
使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素

BigKey生产调优

redis.conf配置文件LAZY FREEING相关说明

1. 阻塞和非阻塞删除命令

复制代码

优化配置

到此这篇关于深入理解Redis BigKey的文章就介绍到这了,更多相关Redis BigKey内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

来源：https://www.jb51.net/database/336715tx4.htm
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！