ES通过快照方式进行数据迁移-创新互联

这篇文章给大家分享的是有关ES通过快照方式进行数据迁移的内容。小编觉得挺实用的，因此分享给大家学习。如下资料是关于数据迁移的步骤。

为迎江等地区用户提供了全套网页设计制作服务，及迎江网站建设行业解决方案。主营业务为成都网站建设、网站设计、迎江网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

1、对机房的es节点安装oss插件

        阿里云提供了es的oss插件，地址 https://github.com/aliyun/elasticsearch-repository-oss 需要注意的是，安装这个插件需要滚动重启es集群的。

        安装oss插件的这个前置操作我这里就跳过了，没啥好说的。参考官方文档提出的滚动重启操作步骤进行就行。

2、开通阿里云oss的bucket，并记录下accesskey相关授权信息

3、我们快照数据通过内网直接打到阿里云oss的专用的bucket里面（TIPS:拉了专线，走内网，需要加个路由才能用oss的内网域名地址）

下面是我执行快照和恢复的全流程：

step1_idc_reg_oss.sh  注册idc的es快照仓库地址到阿里云oss

#!/bin/bash # 传参1 为 es集群的 lb地址 (用后端真实节点地址也行)  echo "作用:" echo "注册快照地址到阿里云到oss仓库" echo # 找出集群的名称 CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}') echo "ES集群名称:" $CLUSTER_NAME echo # 注册快照仓库 ,走专线 oss内网地址 curl -s -XPUT  http://$1:9200/_snapshot/$CLUSTER_NAME -d "{ \"type\": \"oss\", \"settings\": { \"base_path\": \"$CLUSTER_NAME\", \"endpoint\": \"http://oss-cn-hangzhou-internal.aliyuncs.com\", \"access_key_id\": \"thisismyaccesskeyid\", \"secret_access_key\": \"thisismykey\", \"bucket\": \"snapshot-es\", \"compress\": true } }" # 确认仓库是否ok curl -s -XGET http://$1:9200/_snapshot/$CLUSTER_NAME | jq .

step2_first_snapshot.sh  对idc的es打一个全量快照到阿里云oss

#!/bin/bash # 传参1 为 es集群的 lb地址 (用后端真实节点地址也行)  echo "作用:" echo "后台打快照存到阿里云oss仓库" echo # 找出集群的名称 CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}') echo "ES集群名称:" $CLUSTER_NAME echo # 在后台打快照 echo "开始在后台打快照" curl -s -XPUT http://$1:9200/_snapshot/$CLUSTER_NAME/$(date +%Y_%m_%d_%H_%M) | jq . echo echo "查看快照的进度方法: curl -XGET http://$1:9200/_snapshot/$CLUSTER_NAME/_all?pretty" echo

注意：step2 这个脚本第一次跑通后，我们可以在上云前1-2天加个cronjob每小时跑一次，这样在最后上云迁移的时候，增量快照需要的时间就会很短暂。大幅度减少不可用时间。

step3_aliyun_reg_oss.sh  注册阿里云的es快照仓库地址到阿里云oss

#!/bin/bash # 传参1 为 机房es集群的LB地址 # 传参2 为 阿里云es集群的域名 echo "作用:" echo "注册阿里云es到阿里云的oss仓库" echo # 找出集群的名称 CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}') echo "ES集群名称:" $CLUSTER_NAME echo # 阿里云关联oss仓库 curl -s -XPUT http://$2:9200/_snapshot/$CLUSTER_NAME -d "{ \"type\": \"oss\", \"settings\": { \"base_path\": \"$CLUSTER_NAME\", \"endpoint\": \"http://oss-cn-hangzhou-internal.aliyuncs.com\", \"access_key_id\": \"thisismyaccesskeyid\", \"secret_access_key\": \"thisismykey\", \"bucket\": \"snapshot-es\", \"compress\": true } }" # 确认快照仓库是否ok curl -s -XGET http://$2:9200/_snapshot/$CLUSTER_NAME?pretty | jq . echo "curl -s -XGET http://$2:9200/_snapshot/$CLUSTER_NAME?pretty | jq ."

step4 开始，需要在割接当晚操作

step4_stop_write_idc_index.sh 关闭idc 的es索引的写权限，保留只读权限

#!/bin/bash # 传参1 为 es集群的 lb地址 (用后端真实节点地址也行)  echo "作用:" echo "关闭机房es的索引的写权限,以便后续进行最后一次的快照操作" echo #找出集群的名称 CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}') echo $CLUSTER_NAME # 关闭全部索引的写权限,保留读权限 echo "开始关闭全部索引的写权限,保留读权限..." curl -s -XPUT http://$1:9200/_all/_settings -d '{   "index": {     "blocks": {       "write": "true"     }   } }' # 官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index-modules.html # index.blocks.read_only # Set to true to make the index and index metadata read only, false to allow writes and metadata changes.(设置为true 可以禁止对索引和索引的metadata进行修改，控制的更严格些) # index.blocks.write #Set to true to disable write operations against the index.(设置为 true 来禁止对索引的写操作。但索引的 metadata 可以正常写。) # 注意：index.blocks.read_only 和 index.blocks.write 这2个参数，不能同时使用，只能选其一

step5_increase_snapshot.sh  再人工执行一次快照脚本（这时候打的是增量快照，耗时不会太久）

#!/bin/bash # 传参1 为 es集群的 lb地址 (用后端真实节点地址也行)  echo "作用:" echo "关闭机房es写权限后,后台再打一次快照存到阿里云oss仓库" echo # 找出集群的名称 CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}') echo "ES集群名称:" $CLUSTER_NAME echo # 在后台打快照 echo "开始在后台打快照" echo "查看快照的进度方法: curl -XGET http://$1:9200/_snapshot/$CLUSTER_NAME/_all?pretty" curl -s -XPUT http://$1:9200/_snapshot/$CLUSTER_NAME/$(date +%Y_%m_%d_%H_%M) | jq .

 注意： 确保step5的快照进度完成后，才能执行下面的step6操作！！

step6_restore_into_aliyun.sh  将oss上面的最新快照恢复到阿里云ES环境

#!/bin/bash # 从阿里云oss恢复数据到阿里云es # 参数1 为 idc 的es 的lb地址 (不用带端口号) # 参数2 为 阿里云es 的域名  (不用带端口号) echo "作用:" echo "从oss仓库恢复数据到阿里云es" echo # 找出集群的名称 CLUSTER_NAME=$(curl -s http://$1:9200/ | grep cluster_name | awk -F ':' '{print $2}' | awk -F '"' '{print $2}') echo "ES集群名称:" $CLUSTER_NAME echo # 找到最新的快照名称： SNAPSHOT_NAME=$(curl -s  -XGET http://$2:9200/_snapshot/$CLUSTER_NAME/_all?pretty | egrep snapshot | tail -1 | awk -F ':' '{print $2}' | awk -F '"' '{print $2}') echo "最后一个snapshot的名称:" ${SNAPSHOT_NAME} # 调整阿里云ES参数 加快恢复速度 echo "调整阿里云ES参数 加快恢复速度" curl -s -XPUT  http://$2:9200/_cluster/settings?flat_settings=true -d '{   "transient": {     "indices.recovery.concurrent_streams": "10",     "indices.recovery.concurrent_small_file_streams": "10",     "indices.recovery.max_bytes_per_sec": "100mb",     "cluster.routing.allocation.node_concurrent_recoveries": "24"   } }' | jq . # 执行阿里云ES数据恢复操作 echo "开始阿里云ES数据恢复" curl -s -XPOST http://$2:9200/_snapshot/$CLUSTER_NAME/$SNAPSHOT_NAME/_restore -d '{   "index_settings": {      "index.number_of_replicas": 0   } }' echo echo echo "查看恢复的进度 curl -s -X GET http://$2:9200/_recovery/ | jq ."

等阿里云ES集群变绿后（通过_cat api 或者 cerebro观察），开始执行step7操作

step7_aliyun_open_index_increase_replica.sh  打开阿里云es的写功能，并调整index副本为1

#!/bin/bash # 调整阿里云es 增加副本数 # 参数1 为 阿里云es 的域名 (不用带端口号) echo "作用:" echo "阿里云es打开写，并调整副本改为1" echo echo "打开阿里云ES的写权限" curl -s -XPUT http://$1:9200/_all/_settings -d '{   "index": {     "blocks": {       "write": "false"     }   } }' sleep 1  echo "调整全部index的副本为1" curl -s -XPUT http://$1:9200/_all/_settings -d '{   "number_of_replicas": 1 } '

至此， 我们就可以通知开发测试 发版后跟进测试了。

可选步骤

step8_close_idc_index.sh  建议在完成迁移后，关闭老的es的索引，这样如果有连接连到老es，就会报错便于及时发现问题

#!/bin/bash # 传参1 为 es集群的 lb地址 (用后端真实节点地址也行)  echo "作用:" echo "关闭机房es的索引" echo # 列出打开状态的索引 idx=$(curl -s -XGET http://$1:9200/_cat/indices?h=index,status| grep -v close) indices=$(echo $idx| sed 's/ /,/g'| sed 's/,open//g') echo "当前打开的索引如下:"  echo $indices echo echo echo "开始执行close index 操作 ...." curl -s -XPOST http://$1:9200/$indices/_close?pretty | jq .

关于ES通过快照方式进行数据迁移就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

文章标题：ES通过快照方式进行数据迁移-创新互联
文章来源：http://cqcxhl.cn/article/pjdio.html