ES2.3基于快照的迁移上云实录

背景：

创新互联始终坚持【策划先行，效果至上】的经营理念，通过多达十载累计超上千家客户的网站建设总结了一套系统有效的全网营销解决方案，现已广泛运用于各行各业的客户，其中包括：成都混凝土搅拌站等企业，备受客户赞许。

1、根据公司上云规划，需要将目前生产环境的N套ES2.3集群搬迁到阿里云ES环境。但是生产环境的ES因为磁盘空间有限，没有启用 _source ，因此无法通过reindex进行数据迁移。这里只能锁写然后通过快照方式进行迁移。

前置步骤：

1、对机房的es节点安装oss插件

        阿里云提供了es的oss插件，地址 https://github.com/aliyun/elasticsearch-repository-oss  需要注意的是，安装这个插件需要滚动重启es集群的。

        安装oss插件的这个前置操作我这里就跳过了，没啥好说的。参考官方文档提出的滚动重启操作步骤进行就行。

2、开通阿里云oss的bucket，并记录下accesskey相关授权信息

3、我们快照数据通过内网直接打到阿里云oss的专用的bucket里面（TIPS:拉了专线，走内网，需要加个路由才能用oss的内网域名地址）

下面是我执行快照和恢复的全流程：

step1_idc_reg_oss.sh    注册idc的es快照仓库地址到阿里云oss

#!/bin/bash
# 传参1 为 es集群的 lb地址 (用后端真实节点地址也行) 
echo "作用:"
echo "注册快照地址到阿里云到oss仓库"
echo

# 找出集群的名称
CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}')
echo "ES集群名称:" $CLUSTER_NAME
echo

# 注册快照仓库 ,走专线 oss内网地址
curl -s -XPUT  http://$1:9200/_snapshot/$CLUSTER_NAME -d "{
\"type\": \"oss\",
\"settings\": {
\"base_path\": \"$CLUSTER_NAME\",
\"endpoint\": \"http://oss-cn-hangzhou-internal.aliyuncs.com\",
\"access_key_id\": \"thisismyaccesskeyid\",
\"secret_access_key\": \"thisismykey\",
\"bucket\": \"snapshot-es\",
\"compress\": true
}
}"

# 确认仓库是否ok
curl -s -XGET http://$1:9200/_snapshot/$CLUSTER_NAME | jq .

step2_first_snapshot.sh   对idc的es打一个全量快照到阿里云oss

#!/bin/bash
# 传参1 为 es集群的 lb地址 (用后端真实节点地址也行) 

echo "作用:"
echo "后台打快照存到阿里云oss仓库"
echo

# 找出集群的名称
CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}')
echo "ES集群名称:" $CLUSTER_NAME
echo

# 在后台打快照
echo "开始在后台打快照"
curl -s -XPUT http://$1:9200/_snapshot/$CLUSTER_NAME/$(date +%Y_%m_%d_%H_%M) | jq .

echo
echo "查看快照的进度方法: curl -XGET http://$1:9200/_snapshot/$CLUSTER_NAME/_all?pretty"
echo

注意：step2 这个脚本第一次跑通后，我们可以在上云前1-2天加个cronjob每小时跑一次，这样在最后上云迁移的时候，增量快照需要的时间就会很短暂。大幅度减少不可用时间。

step3_aliyun_reg_oss.sh   注册阿里云的es快照仓库地址到阿里云oss

#!/bin/bash
# 传参1 为 机房es集群的LB地址
# 传参2 为 阿里云es集群的域名

echo "作用:"
echo "注册阿里云es到阿里云的oss仓库"
echo

# 找出集群的名称
CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}')
echo "ES集群名称:" $CLUSTER_NAME
echo

# 阿里云关联oss仓库
curl -s -XPUT http://$2:9200/_snapshot/$CLUSTER_NAME -d "{
\"type\": \"oss\",
\"settings\": {
\"base_path\": \"$CLUSTER_NAME\",
\"endpoint\": \"http://oss-cn-hangzhou-internal.aliyuncs.com\",
\"access_key_id\": \"thisismyaccesskeyid\",
\"secret_access_key\": \"thisismykey\",
\"bucket\": \"snapshot-es\",
\"compress\": true
}
}"

# 确认快照仓库是否ok
curl -s -XGET http://$2:9200/_snapshot/$CLUSTER_NAME?pretty | jq .
echo "curl -s -XGET http://$2:9200/_snapshot/$CLUSTER_NAME?pretty | jq ."

step4 开始，需要在割接当晚操作

step4_stop_write_idc_index.sh  关闭idc 的es索引的写权限，保留只读权限 

#!/bin/bash
# 传参1 为 es集群的 lb地址 (用后端真实节点地址也行) 

echo "作用:"
echo "关闭机房es的索引的写权限,以便后续进行最后一次的快照操作"
echo

#找出集群的名称
CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}')
echo $CLUSTER_NAME

# 关闭全部索引的写权限,保留读权限
echo "开始关闭全部索引的写权限,保留读权限..."
curl -s -XPUT http://$1:9200/_all/_settings -d '{
  "index": {
    "blocks": {
      "write": "true"
    }
  }
}'

# 官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index-modules.html
# index.blocks.read_only
# Set to true to make the index and index metadata read only, false to allow writes and metadata changes.(设置为true 可以禁止对索引和索引的metadata进行修改，控制的更严格些)
# index.blocks.write
#Set to true to disable write operations against the index.(设置为 true 来禁止对索引的写操作。但索引的 metadata 可以正常写。)
# 注意：index.blocks.read_only 和 index.blocks.write 这2个参数，不能同时使用，只能选其一

step5_increase_snapshot.sh   再人工执行一次快照脚本（这时候打的是增量快照，耗时不会太久）

#!/bin/bash
# 传参1 为 es集群的 lb地址 (用后端真实节点地址也行) 

echo "作用:"
echo "关闭机房es写权限后,后台再打一次快照存到阿里云oss仓库"
echo

# 找出集群的名称
CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}')
echo "ES集群名称:" $CLUSTER_NAME
echo

# 在后台打快照
echo "开始在后台打快照"
echo "查看快照的进度方法: curl -XGET http://$1:9200/_snapshot/$CLUSTER_NAME/_all?pretty"
curl -s -XPUT http://$1:9200/_snapshot/$CLUSTER_NAME/$(date +%Y_%m_%d_%H_%M) | jq .

 注意： 确保step5的快照进度完成后，才能执行下面的step6操作！！

step6_restore_into_aliyun.sh    将oss上面的最新快照恢复到阿里云ES环境

#!/bin/bash
# 从阿里云oss恢复数据到阿里云es
# 参数1 为 idc 的es 的lb地址 (不用带端口号)
# 参数2 为 阿里云es 的域名  (不用带端口号)

echo "作用:"
echo "从oss仓库恢复数据到阿里云es"
echo

# 找出集群的名称
CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}')
echo "ES集群名称:" $CLUSTER_NAME
echo

# 找到最新的快照名称：
SNAPSHOT_NAME=$(curl -s  -XGET http://$2:9200/_snapshot/$CLUSTER_NAME/_all?pretty | egrep snapshot | tail -1 | awk -F ':' '{print $2}' | awk -F '"' '{print $2}')
echo "最后一个snapshot的名称:" ${SNAPSHOT_NAME}

# 调整阿里云ES参数 加快恢复速度
echo "调整阿里云ES参数 加快恢复速度"
curl -s -XPUT  http://$2:9200/_cluster/settings?flat_settings=true -d '{
  "transient": {
    "indices.recovery.concurrent_streams": "10",
    "indices.recovery.concurrent_small_file_streams": "10",
    "indices.recovery.max_bytes_per_sec": "100mb",
    "cluster.routing.allocation.node_concurrent_recoveries": "24"
  }
}' | jq .

# 执行阿里云ES数据恢复操作
echo "开始阿里云ES数据恢复"
curl -s -XPOST http://$2:9200/_snapshot/$CLUSTER_NAME/$SNAPSHOT_NAME/_restore -d '{
  "index_settings": {
     "index.number_of_replicas": 0
  }
}'

echo
echo
echo "查看恢复的进度 curl -s -X GET http://$2:9200/_recovery/ | jq ."

等阿里云ES集群变绿后（通过_cat api 或者 cerebro观察），开始执行step7操作  

step7_aliyun_open_index_increase_replica.sh   打开阿里云es的写功能，并调整index副本为1

#!/bin/bash
# 调整阿里云es 增加副本数
# 参数1 为 阿里云es 的域名 (不用带端口号)

echo "作用:"
echo "阿里云es打开写，并调整副本改为1"
echo
echo "打开阿里云ES的写权限"
curl -s -XPUT http://$1:9200/_all/_settings -d '{
  "index": {
    "blocks": {
      "write": "false"
    }
  }
}'
sleep 1 
echo "调整全部index的副本为1"
curl -s -XPUT http://$1:9200/_all/_settings -d '{
  "number_of_replicas": 1
}
'

至此， 我们就可以通知开发测试 发版后跟进测试了。

可选步骤

step8_close_idc_index.sh    建议在完成迁移后，关闭老的es的索引，这样如果有连接连到老es，就会报错便于及时发现问题

#!/bin/bash
# 传参1 为 es集群的 lb地址 (用后端真实节点地址也行) 

echo "作用:"
echo "关闭机房es的索引"
echo

# 列出打开状态的索引
idx=$(curl -s -XGET http://$1:9200/_cat/indices?h=index,status| grep -v close)
indices=$(echo $idx| sed 's/ /,/g'| sed 's/,open//g')
echo "当前打开的索引如下:" 
echo $indices
echo
echo

echo "开始执行close index 操作 ...."
curl -s -XPOST http://$1:9200/$indices/_close?pretty | jq .