近期,有人反馈其mongodb分片集群,在加载处理大批量数据时,程序处理十分缓慢并且应用还会报错: version mismatch detected for 。 现将分析汇总如下备用。
一、问题现象
负责同事反馈9月1日18:52分左右,应用报错version mismatch detected for。
二、问题分析
--mongodb为4.2.15的三分片集群且集群均衡器为启用状态

--观察集群报错前后的mongod日志发现,9月1号18:48分集群在频繁的moveChunk

--集群在频繁的moveChunk消耗的时间比较长

--9月1日18:55分mongod日志才提示end of migration,应用报错集群正在moveChunk操作

由以上日志可知,是应用大批量加载数据,导致集群均衡器分裂chunk并执行迁移,磁盘IO性能低下不能支持mongod快速数据迁移和metadata刷新, 引起应用查询不到最新的数据而报错。
三、 问题处理
a、提高磁盘性能,更换SSD盘
b、业务高峰期临时关闭集群均衡器
在mongos节点命令窗口中,切换至 config 数据库
use config;
执行如下命令查看Balancer运行状态,如返回值为空则均衡器空闲
while( sh.isBalancerRunning() ) {
print("waiting...");
sleep(1000);
}
确认执行命令后返回的值为空,可执行关闭Balancer命令
sh.stopBalancer()
c、临时处理方法刷新路由器(业务高峰期有风险)
use config;
db.adminCommand({_flushRoutingTableCacheUpdates: ns, syncFromConfig: true})