方法一: 将data整个目录拷贝到新的es集群即可

方法二: 先备份数据 然后将备份数据拷贝到新的es集群 再恢复数据
1.在老的es服务器备份数据
(1)创建es备份仓库

$ curl -u elastic:yourpass -XPOST '172.16.2.99:9200/_snapshot/hsbc_backup' -H  'Content-Type: application/json' -d '{ "type": "fs",  "settings": { "location": "/alidata1/admin/backup/elasticsearch/", "compress": true, "chunk_size": "1g", "max_snapshot_bytes_per_sec": "50m", "max_restore_bytes_per_sec": "50m"}}'

(2)获取要备份的索引

$ curl -u elastic:yourpass -XGET http://172.16.2.99:9200/_cat/indices?v |awk '{print $3}'

(3)备份数据,注意.security-6不需要备份

curl -u elastic:yourpass -H "Content-Type: application/json" -XPUT http://172.16.2.99:9200/_snapshot/hsbc_backup/es_20200808_1 -d '{"indices": "search_hq_xman_msg,search_hq_xman_mengwang_up,search_hq_xman_mail_send,hq_xman_webchat_send,search_hq_xman_wechatcustome_send,adm_hq_user_insur_and_insured_info_label_20200304,adm_hq_user_info_label_20200304,search_hq_xman_apppush_send,search_hq_xman_webchat_send,adm_hq_user_info_all_label_20200304,search_hq_xman_wechatmp_send,search_hq_xman_mengwang_msg_history,search_hq_xman_mengwang_msg,mapindex,search_hq_xman_wechatgroup_send"}'

2.将备份文件打包压缩 发送到要恢复的es的repo.path指定的目录下

3.将数据恢复到新的es
(1)创建和原来es一样的备份仓库

$ curl -u elastic:123456 -XPOST '192.168.43.104:9200/_snapshot/hsbc_backup' -H  'Content-Type: application/json' -d '{ "type": "fs",  "settings": { "location": "/alidata1/admin/backup/elasticsearch/", "compress": true, "chunk_size": "1g", "max_snapshot_bytes_per_sec": "50m", "max_restore_bytes_per_sec": "50m"}}'

(2)查看下当前索引
(3)数据恢复

$ curl -u elastic:123456 -XPOST 'http://192.168.43.104:9200/_snapshot/hsbc_backup/es_20200808_1/_restore' -H 'Content-Type: application/json' -d'{ "ignore_unavailable": true, "include_global_state": false }'

(4)查看索引

Elastic数据迁移方法及注意事项

需求

ES集群Cluster_A里的数据（某个索引或某几个索引），需要迁移到另外一个ES集群Cluster_B中。

环境

Linux：Centos7 / Centos6.5/ Centos6.4
Elastic：5.2.0

总结的方法

1. 查询并导出数据

2. 拷贝ES物理目录/文件

3. ES快照数据备份和恢复

迁移方法

分别进行以上方法的详细介绍：

查询并导出数据

理论

通过ES提供的查询API，写各种程序，把数据导出csv，或者把数据查询出来，直接入库到新的ES集群中。

实践

#coding=utf-8
 
import os
import sys
import pyes
 
 
index_list = [
    ["index_A", "type_A"],
    ["index_B", "type_B"],
    ["index_C", "type_C"],
]
 
 
ES_URL = "http://192.168.1.1:9200/"
NEW_ES_URL = "http://192.168.2.1:8200/"
 
def main():
    for _index, _type in index_list:
        conn = pyes.es.ES(ES_URL)
        search = pyes.query.MatchAllQuery().search(bulk_read=10000)
        hits = conn.search(search, _index, _type, scan=True, scroll="30m", model=lambda _,hit: hit)
         
        conn2 = pyes.es.ES(NEW_ES_URL)
        count = 0 
        for hit in hits:
            conn2.index(hit['_source'], _index, _type, hit['_id'], bulk=True)
            count += 1
            if count % 10000 == 0:
                print count
                conn2.flush()
        conn2.flush()
        conn2 = None
 
        conn = None
 
 
if __name__ == '__main__':
    main()

注意事项

1. 需要安装python的pyes模块，注意pyes的版本，此处的版本为：pyes.0.20.1

2. 用了查询ES的scroll方式，也有一种直接通过ES的DSL查询语句用分页from和size查询，但是ES的分页查询到了千万级别之后，from就会慢的出奇，甚至报错，不信的同学去尝试吧，等着功亏一篑….

3. 客户现场的数据级别是物理存储大概在5T(一个副本)，条数大概1百亿。现场使用该方法亲测之后，未解决ES迁移的问题。pyes在约到后面查询越慢，最后ES报错…..

总结

1. 百万、千万级别条数的数据，可以尝试该方法。

拷贝ES物理目录/文件

理论

ES的文件存在磁盘中，把物理文件一模一样拷贝一份到新的集群环境中，达到数据迁移的效果。

实践

1. 找到ES的存储目录，一般可以到elasticsearch.yml中找到path.data的配置
 
2. 集群下一般会有多个节点，所以ES的存储目录也就有多个
 
 
3. 一般ES的存储目录下，会存储一个集群名字一样的文件夹，需要拷贝的就是这个文件夹.
 
 
4. 环境如下：
旧集群：
集群名字：Cluster_A
分片数：6
机器A：一个节点 192.168.1.1
node0  数据存储目录：/opt/data1,/opt/data2
机器B：三个节点 192.168.1.2
node1  数据存储目录：/opt/data1,/opt/data2
node2  数据存储目录：/opt/data3,/opt/data4
node3  数据存储目录：/opt/data5,/opt/data6
 
新的集群：
集群名字：Cluster_A
分片数：6
机器A：一个节点 192.168.2.1
node0  数据存储目录：/opt/data1,/opt/data2
机器B：三个节点 192.168.2.2
node1  数据存储目录：/opt/data1,/opt/data2
node2  数据存储目录：/opt/data3,/opt/data4
node3  数据存储目录：/opt/data5,/opt/data6
 
 
5. 迁移代码如下：
新集群机器A：192.168.2.1如下操作

scp –r root@192.168.1.1:/opt/data1/Cluster_A /opt/data1/
scp –r root@192.168.1.1:/opt/data2/Cluster_A /opt/data2/

 
新集群机器B：192.168.2.2如下操作

scp –r root@192.168.1.2:/opt/data1/Cluster_A /opt/data1/
scp –r root@192.168.1.2:/opt/data2/Cluster_A /opt/data2/
scp –r root@192.168.1.2:/opt/data3/Cluster_A /opt/data3/
scp –r root@192.168.1.2:/opt/data4/Cluster_A /opt/data4/
scp –r root@192.168.1.2:/opt/data5/Cluster_A /opt/data5/
scp –r root@192.168.1.2:/opt/data6/Cluster_A /opt/data6/

ES快照数据备份和恢复

理论

使用ES官网提供的快照备份方法，将旧集群ES的索引进行备份，拷贝备份出来的所有文件，在新的集群中进行恢复。

官网写的非常简单：先创建仓库(repository)，再往仓库里添加一个快照(snapshot)，查看备份状态，That’s all。但是实践需要麻烦很多了。

实践

1. 旧的集群备份出来的东西，需要拷贝到新集群机器上。解决两个问题：一是旧集群没有足够的空间存储这些东西；二是反正备份出来都需要拷贝到新的集群中。此处想到一个方法，将新集群机器的目录远程Mount到旧集群机器上。
 
 
2. 挂载目录，2.1）和2.2）可以任选一种方式
 
 
3. 使用sshfs进行挂载：

// 在每台机器上安装sshfs
yum install fuse sshfs
 
// 每台机器上创建Mount共享目录
mkdir /opt/backup_es
 
// 旧集群的每台机器上挂载共享目录(分别挂载了新机器的/opt/data07目录到/opt/backup_es)
sshfs root@192.168.2.1:/opt/data07 /opt/backup_es -o allow_other
sshfs root@192.168.2.2:/opt/data07 /opt/backup_es -o allow_other
 
// 测试运行ES的用户是否有对共享目录的写权限
sudo -u elastic touch /opt/backup_es
 
// 在旧机器上将共享目录的权限付给ES的运行用户
chown elastic:elastic -R /opt/backup_es

 
2. 使用Mount nfs进行挂载：

// 在新集群的机器上(192.168.2.1, 192.168.2.2)添加共享的文件夹和客户端可以访问的IP地址
vi /etc/exports
/opt/data07 192.168.1.1(rw,no_root_squash)
/opt/data07 192.168.1.2(rw,no_root_squash)
 
// 查看共享文件夹和
exportfs -rv
 
// 重启启动新集群机器的NFS服务
services nfs restart
 
// 旧集群的每台机器上创建共享目录
mkdir /opt/backup_es
 
// 旧集群机器上进行Mount挂载
mount -t nfs 192.168.2.1:/opt/data07 /opt/backup_es
mount -t nfs 192.168.2.2:/opt/data07 /opt/backup_es
 
// 在旧机器上将共享目录的权限付给ES的运行用户
chown elastic:elastic -R /opt/backup_es

 
3. 创建ES仓库

// 创建ES仓库my_backup
http://192.168.1.1:9200/_plugin/head/的复合查询，通过PUT进行发送请求：
PUT _snapshot/my_backup 
{
    "type": "fs", 
    "settings": {
        "location": "/opt/backup_es",
        "compress": true
    }
}
 
// 查看仓库的状态
http://192.168.1.1:9200/_snapshot

 
4. 创建快照备份

// 针对具体的index创建快照备份(可以指定1个快照1个索引，或1个快照多个索引)
// 后面会依据快照的名称来进行恢复
http://192.168.1.1:9200/
PUT _snapshot/my_backup/snapshot_name_A
{
    "indices": "index_A, index_B"
}

成功之后，备份已经异步开始了。
 
 
5. 查看备份的状态

// 查看备份状态
http://192.168.1.1:9200/_snapshot/my_backup/snapshot_name_A/_status

细心的同学会看到ES会同时进行几个分片的备份，而且显示备份的数据情况。
有心的同学会看到，旧集群上共享的两个目录/opt/backup_es会均分备份出来的数据。这一点ES还是比较强大的，赞一个。应该还可以指定多个目录（作者没有试过，但是应该也是OK的，这样就可以挂载多个目录，解决磁盘空间不足的问题了）
 
 
6. 最后，就是等，直至所有的的备份都完成。
备份完成后，查看旧集群每台机器的/opt/backup_es目录，查看备份出的东东。
取消挂载
 
 
7. 在新集群中恢复

// 在新集群每台机器上将共享目录的权限付给ES的运行用户
chown elastic:elastic -R /opt/data07
 
// 停止ES，设置elasticsearch.yml的参数
    path.repo: /opt/data07
 
// 启动ES，在新集群创建仓库
http://192.168.2.1:9200/_plugin/head/的复合查询，通过PUT进行发送请求：
PUT _snapshot/my_backup 
{
    "type": "fs", 
    "settings": {
        "location": "/opt/data07",
        "compress": true
    }
}

 
8. 在新集群中恢复数据

// 使用RESTful API进行备份的恢复
http://192.168.1.1:9200/
POST
_snapshot/my_backup/snapshot_name_A/_restore
 
// 查看恢复的状态
http://192.168.1.1:9200/
GET
_snapshot/my_backup/snapshot_name_A/_status

 
9. 等，直至恢复完成。

注意事项

1. 索引很大，需要有足够的空间存储备份出来的数据，挂载磁盘和设置path.repo来解决该问题。

2. 在简历仓库的时候，会报错，找不到快照目录/opt/backup_es
   需要在elasticsearch.yml中设置path.repo: /opt/backup_es

3. 挂载的磁盘需要赋权限，让ES的用户能读写。Sshfs的时候加上 -oallow_other；Mount的时候需要对目录进行赋权限chown

4. Mount nfs的时候需要注意配置：vi /etc/exports

/opt/data07192.168.1.1(rw,no_root_squash)
/opt/data07192.168.1.2(rw,no_root_squash)

1. 新集群中如果有索引和备份出来的索引有冲突（索引已存在），恢复不成功。
   解决：可以将旧的索引重命名，然后导入新集群中。导入成功后，将两个索引建立一个别名。

2. 恢复期间，整个集群会变成红色(集群不可用)，最好半夜的时候进行。

ㅤㅤㅤ
ㅤㅤㅤ
ㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤ（一个人不论赋有什么样的棋，他如果不知道自己有这种棋，并且不形成适合于自己棋的计划，那种棋对他便完全无用。——休漠）
ㅤㅤㅤ
ㅤㅤㅤ
ㅤㅤㅤㅤㅤㅤㅤㅤㅤ
ElasticSearch 常用api

ElasticSearch 版本说明

{
“name”: “node-3”,
“cluster_name”: “test-elasticsearch”,
“cluster_uuid”: “FM6vTooBTS6cSM9scMEU7g”,
“version”: {
“number”: “2.4.1”,
“build_hash”: “c67dc32e24162035d18d6fe1e952c4cbcbe79d16”,
“build_timestamp”: “2016-09-27T18:57:55Z”,
“build_snapshot”: false,
“lucene_version”: “5.5.2”
},
“tagline”: “You Know, for Search”
}

ElasticSearch 数据迁移方案

ElasticSearch 数据迁移方式

有以下三种方式可以更新索引结构映射和设置

• 更新索引结构设置
  因为自定义字段的key是未知的，无法显示的设置在mappings中。所以可以在settings中设置默认的分词器和过滤器等配置

• 更新索引结构映射
  因为非自定义字段的key是已知的，可以显示的设置在mappings中

• 索引重建
  避免影响旧索引数据，方便回滚，可以通过此方式安全的迁移数据到新索引，业务再使用该新索引即可
  es默认滚动批次requests_per_second为1000

更新索引结构设置的数据迁移

优点：不需要数据迁移，直接更新索引设置就可以完成更新
缺点：只能对未设置过的字段进行更新，一次性操作，风险高。如果设置后数据检索等出了问题，就不能回滚了

操作步骤

• 先查看目前的索引结构
  • 请求示例：GET http://172.21.0.31:9900/business
  • 
• 然后通过ElasticSearch接口_close关闭索引
  • 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/8.0/indices-close.html#close-index-api-request
  • 请求示例：http://172.21.0.31:9900/business/_close
  • 
• 再通过PUT接口更新settings
  • 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/8.0/indices-update-settings.html
  • 请求示例：http://172.21.0.31:9900/business/_settings
  • 
  • 需要注意的是只能对未设置过的字段进行更新，当以上请求发出后，再次更新会抛错，提示无法更新
  • 
• 更新完成后，再通过接口启用该索引
  • 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/8.0/indices-open-close.html
  • 请求示例：http://172.21.0.31:9900/business/_open
  • 
• 重新查看该索引结构，查看更新后的结构
  • 请求示例：GET http://172.21.0.31:9900/business
  • 

更新索引映射的数据迁移

• 同以上步骤相同，只不过更新是mappings
• 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.11/indices-put-mapping.html

重建索引_reindex，通过ElasticSearch提供的api _reindex接口进行索引数据迁移

优点：不影响旧索引数据，使用新的索引结构，即便出问题，也能够快速回滚到旧索引上
缺点：因为要迁移数据，操作较为麻烦。如果不删除旧数据索引，会额外的占用磁盘空间。业务需要使用新索引，可能需要做代码兼容

操作步骤

• 先创建新的索引结构
  • 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.5/indices-create-index.html
  • 请求示例 POST http://172.21.0.31:9900/business_bak
  • 
• 查看刚刚创建的新索引
  • 请求示例GET http://172.21.0.31:9900/business_bak
  • 需要注意numeric_detection数字转换和date_detection日期转换 ，在es中numeric_detection默认是false，但date_detection默认是开启的，所以我们需要显示的关闭date_detection选项，避免后面因为数据格式不一致导致迁移失败
  • 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/dynamic-field-mapping.html#_customizing_detected_date_formats
  • 
• 查看新索引中的数据，因为是刚新建的索引，所以数据是空的
  • 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/8.0/search-search.html
  • 请求示例：GET http://172.21.0.31:9900/business_bak/_search
  • 
• 使用_reindex接口将索引business的索引数据复制至business_bak
  • 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.9/docs-reindex.html
  • 请求示例：POST http://172.21.0.31:9900/_reindex
  • 
• 再次查看新索引中的数据，已经和旧索引中的一摸一样了
  • 
• 当数据量比较大时，可以使用wait_for_completion=false，指定创建异步任务，请求成功后，es会返回一个任务编号，用于后续查看和取消
  • 以测试数据举例
  • 请求示例：POST http://172.21.0.31:9900/_reindex?wait_for_completion=false
  • 
  • 通过接口查看该任务的状态
  • 请求示例：GET http://172.21.0.31:9900/_tasks/OfyS4qUGTW2OuA2BL5fYgQ:36133906
  • 
• 若数据复制任务发生异常等情况，可以使用_cancel取消
  • 请求示例：POST http://172.21.0.31:9900/_tasks/OfyS4qUGTW2OuA2BL5fYgQ:36133906/_cancel
  • 
  • 再次查看，任务已经消失了
  •