1、背景

为了更好的给业务提供良好的缓存服务，同时提升主机资源利用率。Redis管理采用单台主机部署多个redis实例。通过linux系统级cgroups内核控制技术来隔离redis实例之间资源调用。保障实例之间运行稳定，隔离后无资源争用现象。

2、目标

采用 Cgroup控制隔离 redis进程资源，测试多种场景保障 redis服务运行稳定。 Redis多实例进程之间资源隔离无影响，能保证系统承载能力与稳定性。

3、测试环境与工具
3.1、环境信息

3.2、测试工具

4、配置与指标

4.1、cgroup配置

Redis-server进程CGROUP控制，将控制参数配置至启动 redis-server脚本中，需要通过CPUQuota与MemoryLimit参数来控制CPU与内存资源配额，具体的资源配额大小可以通过参数数值来改变，详细的配置如下：

4.2 测试指标

测试过程中可以通过相关指标来观察redis服务的性能是否存在下降趋势，主机资源的资源是否在配额范围内没有出现超卖。

CPU 使用率：redis进程CPU占用率。

SET QPS ：redis每秒SET请求数

GET QPS: redis 每秒GET请求数

INCR QPS: redis 每秒存储加1请求数

5、测试过程
5.1 测试场景1

redis单实例，在不做任何资源限制下进行压力测试，跑出的最优QPS值和CPU平均使用率。如下表所示，当客户端连接数为100和400时，CPU使用率均值都在85-88%，SET QPS、GET QPS和INCR QPS的值波动幅度不大，较为平均。

测试命令：

redis-benchmark -h 127.0.0.1 -p 6101 -t set,get,incr -c 100 -n 1000000 -q

redis-benchmark -h 127.0.0.1 -p 6101 -t set,get,incr -c 400 -n 1000000 -q

5.2、测试场景2
  Redis单实例，使用CGROUP进行限制CPU性能资源，且分别限制CPU使用率最大值不能超过20%、40%、60%、80%下进行压力测试，跑出的最优QPS值和CPU平均使用率。结果如下表所示，连接数分别以100和400压测，可直观看到采用CGROUP限制资源后，CPU使用率已得到限制，且没有超过限制的上限，但QPS值也因CPU受到限制而降低，综合观察压测后得出的QPS值可知，连接数100和400的QPS值并没有太大的差别。

测试命令：

redis-benchmark -h 127.0.0.1 -p 6101 -t set,get,incr -c 100 -n 1000000 -q

redis-benchmark -h 127.0.0.1 -p 6101 -t set,get,incr -c 400 -n 1000000 -q

5.3、测试场景3

Redis多实例，在不做任何资源限制进行压力测试，跑出的最优QPS值和CPU平均使用率。如下图所示，当客户端连接数为100和400时，CPU使用率均值都在88-92%，且SET QPS、GET QPS和INCR QPS的值波动幅度不大，较为平均，也没有出现不同实例一高一低的QPS值；故可知，在不做任何资源限制双实例情况下，压力测试后的QPS值并不存在且不会出现多实例因争夺性能资源而导致QPS值降低。

测试命令：

redis-benchmark -h 127.0.0.1 -p 6101 -t set,get,incr -c 100 -n 1000000 -q

redis-benchmark -h 127.0.0.1 -p 6101 -t set,get,incr -c 100 -n 1000000 -q

redis-benchmark -h 127.0.0.1 -p 6101 -t set,get,incr -c 400 -n 1000000 -q

redis-benchmark -h 127.0.0.1 -p 6102 -t set,get,incr -c 400 -n 1000000 -q

5.4 测试场景4

Redis多实例，使用CGROUP进行限制CPU性能资源，且分别限制CPU使用率最大值不能超过20%、40%、60%、80%下进行压力测试，跑出的最优QPS值和CPU平均使用率。结果如下图所示，连接数分别以100和400压测，可以从数据看到，采用CGROUP限制资源后，CPU使用率已得到限制，且没有超过限制的上限，但QPS值也因CPU受到限制而降低，综合观察压测后得出的QPS值可知，连接数100和400的QPS值并没有太大的差别，且波动幅度不大，较为平均，测试中也没有出现不同实例一高一低的QPS值；故可知，在CGROUP资源限制下，双实例情景压力测试后的QPS值，也同样不存在且不会出现多实例因争夺性能资源而导致QPS值降低的情况。

测试命令：

redis-benchmark -h 127.0.0.1 -p 6101 -t set,get,incr -c 100 -n 1000000 -q

redis-benchmark -h 127.0.0.1 -p 6101 -t set,get,incr -c 100 -n 1000000 -q

redis-benchmark -h 127.0.0.1 -p 6101 -t set,get,incr -c 400 -n 1000000 -q

redis-benchmark -h 127.0.0.1 -p 6102 -t set,get,incr -c 400 -n 1000000 -q

6、测试总结
  无论时reids单实例，还是redis多实例，采用操作系统CGROUP控制资源隔离后，在不超过虚拟机资源上限的情况下，实例的组件性能和数据读取、写入性能并不影响，且资源限制后，每个实例限制分配的资源也不会超过所配置的资源上限。经过此轮的多场景测试整体redis的 QPS值可以满足业务需求，可实现实例资源隔离和性能控制。