一、前言
在日常ES运维过程中,经常会遇到一些业务需求,特别是会经常遇到一些故障需要紧急处理,所以这就需要我们平日多积攒一些运维脚本或命令,以便能快速定位和处理问题。今天分享两个自己整理的比较好用的脚本,我平时也经常在elasticsearch生产环境使用。
二、运维脚本
2.1、获取以xxx开头的索引及大小并按照索引前缀排序
有时为了统计某业务部门索引占用情况,可按照索引前缀获取所有索引索引名称和大小,并按照索引前缀进行排序。
#!/bin/bash # 定义 Elasticsearch 地址、端口、用户名和密码 ES_HOST="192.168.xxx.xxx" ES_PORT="9200" ES_USER="elastic" ES_PASS="xxxxx" # 定义输出文件路径 OUTPUT_FILE="/home/esuser/xxxx_indices_info.txt" # 临时文件存储 TEMP_FILE="/tmp/xxxx_indices_info.txt" # 获取以 xxxx 开头的索引名称、大小并按索引名称排序,写入到临时文件 curl -s -u ${ES_USER}:${ES_PASS} "${ES_HOST}:${ES_PORT}/_cat/indices?h=index,store.size&format=json" | jq -r '.[] | select(.index | startswith("xxxx")) | "\(.index)\t\(.["store.size"])"' > ${TEMP_FILE} # 检查临时文件是否生成 if [ ! -s ${TEMP_FILE} ]; then echo "No data found or failed to retrieve data from Elasticsearch." exit 1 fi # 清空输出文件 > ${OUTPUT_FILE} # 处理大小单位转换并写入输出文件 while IFS=$'\t' read -r index size; do # 检查大小是否为 null if [ "$size" == "null" ] || [ -z "$size" ]; then size_kb=0 else # 将大小转换为 KB if [[ $size == *kb ]]; then size_kb=$(echo $size | sed 's/kb//') elif [[ $size == *mb ]]; then size_kb=$(echo $size | sed 's/mb//' | awk '{printf "%.0f", $1 * 1024}') elif [[ $size == *gb ]]; then size_kb=$(echo $size | sed 's/gb//' | awk '{printf "%.0f", $1 * 1024 * 1024}') elif [[ $size == *tb ]]; then size_kb=$(echo $size | sed 's/tb//' | awk '{printf "%.0f", $1 * 1024 * 1024 * 1024}') else size_kb=$size fi fi # 输出索引名称和大小(KB),追加到输出文件 echo "${index} ${size_kb}" >> ${OUTPUT_FILE} done < ${TEMP_FILE} # 按索引名称排序并重定向到最终文件 sort -k1,1 ${OUTPUT_FILE} -o ${OUTPUT_FILE} # 删除临时文件 rm ${TEMP_FILE}
命令注释:
- 定义 Elasticsearch 地址、端口、用户名和密码:将 ES_HOST、ES_PORT、ES_USER 和 ES_PASS 设置为你的 Elasticsearch 实例的地址、端口、用户名和密码。
- 定义输出文件路径:将结果写入到 /home/esuser/xxxx_indices_info.txt 文件。
- 获取以 xxxx 开头的索引信息:
- 使用 curl 命令获取所有索引的信息,并以 JSON 格式返回。
- 使用 jq 进行 JSON 解析并过滤出以 MIC 开头的索引,提取索引名称和大小。
- 检查并处理大小字段:将大小单位(如 KB、MB、GB、TB)转换为 KB。如果大小为 null 或空,则设置为 0 KB。
输出结果:
-
- 清空输出文件。
-
- 使用 echo “${index} ${size_kb}” >> ${OUTPUT_FILE} 将每行结果追加到输出文件。
-
- 按索引名称排序:使用 sort -k1,1 ${OUTPUT_FILE} -o ${OUTPUT_FILE} 按索引名称排序并重定向到最终文件。
-
- 删除临时文件:清理临时文件。
2.2、填充空索引加速各节点索引分片数量平衡
在日常ES运维过程中,经常遇到因为节点宕,或者平时ES节点需要重启维护,为了快速达到各节点索引分片平衡,可向集群中插入一些空索引,以便快速达到分片平衡,待平衡后,再抽时间逐步删除这些创建的空索引。
#!/bin/bash # Elasticsearch节点的IP地址和端口 ES_HOST="192.168.xxx.xxx:9200" # Elasticsearch超级用户的身份验证凭据 USERNAME="elastic" PASSWORD="xxxx" # 索引名称的前缀和数量 INDEX_PREFIX="test-null-index" INDEX_COUNT=10 # 索引的设置 INDEX_SETTINGS='{"settings": {"number_of_shards": 1, "number_of_replicas": 0}}' # 循环创建索引 for ((i=1; i