oracle11g数据库导入导出：
 
①:传统方式——exp(导出)和(imp)导入：
 ②:数据泵方式——expdp导出和（impdp）导入;
 ③:第三方工具——PL/sql Develpoer;
一、什么是数据库导入导出？
 oracle11g数据库的导入/导出，就是我们通常所说的oracle数据的还原/备份。
 数据库导入:把.dmp 格式文件从本地导入到数据库服务器中(本地oracle测试数据库中);
 数据库导出:把数据库服务器中的数据(本地oracle测试数据库中的数据),导出到本地生成.dmp格式文件。
 .dmp 格式文件：就是oracle数据的文件格式(比如视频是.mp4 格式,音乐是.mp3 格式);
二、二者优缺点描述：
 1.exp/imp:
 优点:代码书写简单易懂,从本地即可直接导入，不用在服务器中操作，降低难度，减少服务器上的操作也就                                         保证了服务器上数据文件的安全性。
 缺点：这种导入导出的速度相对较慢，合适数据库数据较少的时候。如果文件超过几个G，大众性能的电                                       脑，至少需要4~5个小时左右。
 2.expdp/impdp:
 优点:导入导出速度相对较快,几个G的数据文件一般在1~2小时左右。
 缺点:代码相对不易理解,要想实现导入导出的操作，必须在服务器上创建逻辑目录(不是真正的目录)。我们                                       都知道数据库服务器的重要性，所以在上面的操作必须慎重。所以这种方式一般由专业的程序人员来完                                           成(不一定是DBA(数据库管理员)来干,中小公司可能没有DBA)。
 3.PL/sql Develpoer:
 优点：封装了导入导出命令，无需每次都手动输入命令。方便快捷，提高效率。
 缺点：长时间应用会对其产生依赖，降低对代码执行原理的理解。
三、特别强调：
 目标数据库:数据即将导入的数据库(一般是项目上正式数据库);
 源数据库:数据导出的数据库(一般是项目上的测试数据库);
 1.目标数据库要与源数据库有着名称相同的表空间。
 2.目标数据在进行导入时，用户名尽量相同(这样保证用户的权限级别相同)。
 3.目标数据库每次在进行数据导入前，应做好数据备份，以防数据丢失。
 4.使用数据泵时,一定要现在服务器端建立可用的逻辑目录，并检查是否可用。
 5.弄清是导入导出到相同版本还是不同版本(oracle10g版本与oracle11g版本)。
 6.目标数据导入前,弄清楚是数据覆盖(替换),还是仅插入新数据或替换部分数据表。
 7.确定目标数据库磁盘空间是否足够容纳新数据，是否需要扩充表空间。
 8.导入导出时注意字符集是否相同，一般Oracle数据库的字符集只有一个，并且固定，一般不改变。
 9.导出格式介绍:
  　 Dmp格式：.dmp是二进制文件，可跨平台，还能包含权限，效率好； 
  　 Sql格式：.sql格式的文件，可用文本编辑器查看，通用性比较好，效率不如第一种，
 适合小数据量导入导出。尤其注意的是表中不能有大字段 （blob,clob,long），如果有，会报错； 
  　 Pde格式：.pde格式的文件，.pde为PL/SQL Developer自有的文件格式，只能用PL/SQL Developer工具
 导入导出，不能用文本编辑器查看；
 10.确定操作者的账号权限。 
四、二者的导入导出方法：
1、传统方法：
 通用命令:exp(imp)  username/password@SERVICENAME:1521 file="e:\temp.dmp" full = y;
 数据库导出举例:
 
 
 
exp xinxiaoyong/123456@127.0.0.1:1521 file="e:\temp.dmp" full = y;
 
exp:导出命令，导出时必写。
 imp:导入命令，导入时必写,每次操作，二者只能选择一个执行。
 username:导出数据的用户名，必写;
 password:导出数据的密码，必写;
 @:地址符号，必写;
 SERVICENAME:Oracle的服务名，必写;
 1521:端口号，1521是默认的可以不写,非默认要写;
 file="e:\temp.dmp" : 文件存放路径地址，必写;
 full=y :表示全库导出。可以不写，则默认为no,则只导出用户下的对象;
 方法细分：
 1.完全导入导出：
 exp(imp)  username/password@SERVICENAME:1521 file="e:\temp.dmp" full = y;
 2.部分用户表table导入导出：
 exp(imp)  username/password@SERVICENAME:1521 file="e:\temp.dmp" tabels=                                                                  (table1,table2,table3,...);
 3.表空间tablespaces导入导出：
 //一个数据库实例可以有N个表空间(tablespace)，一个表空间下可以有N张表(table)。
 exp(imp)  username/password@SERVICENAME:1521 file="e:\temp.dmp" tablespaces=                                                         (tablespace1,tablespace2,tablespace3,...);
 4.用户名username对象导入导出：
 exp(imp)  username/password@SERVICENAME:1521 file="e:\temp.dmp"                                                                                owner(username1,username2,username3);
2、数据泵方法：
 创建directory:
 expdp(impdp) username/password@SERVICENAME:1521 schemas=username                                                                       dumpfile=file1.dmp logfile=file1.log directory=testdata1 remap_schema=test:test;
 数据库导出举例:
 expdp xinxiaoyong/123456@127.0.0.1:1521 schemas=xinxiaoyong dumpfile=test.dmp 
 logfile=test.log directory=testdata1;

 exp:导出命令，导出时必写。
 imp:导入命令，导入时必写,每次操作，二者只能选择一个执行。
 username:导出数据的用户名，必写;
 password:导出数据的密码，必写;
 @:地址符号，必写;
 SERVICENAME:Oracle的服务名，必写;
 1521:端口号，1521是默认的可以不写,非默认要写;
 schemas：导出操作的用户名;
 dumpfile：导出的文件;
 logfile:导出的日志文件,可以不写；
 directory:创建的文件夹名称;
 remap_schema=源数据库用户名:目标数据库用户名,二者不同时必写，相同可以省略;
 1.查看表空间：
 select ＊　from dba_tablespaces;
 2.查看管理理员目录(同时查看操作系统是否存在，因为Oracle并不关心该目录是否存在，如果不存                                                    在，则出错)。
 select ＊　from dba_directories;
 3.创建逻辑目录，该命令不会在操作系统创建真正的目录，最好以system等管理员创建。 
 create directory testdata1 as 'd:\test\dump';
 4.给xinxiaoyong用户赋予在指定目录的操作权限，最好以system等管理员赋予。
 //xinxiaoyong 是用户名(123456是用户密码)
 grant read,write on directory testdata1 to xinxiaoyong;
 5.导出数据
 
 
 
 
 
1)按用户导 expdp xinxiaoyong/123456@orcl schemas=xinxiaoyong                                                                                           dumpfile=expdp.dmp directory=testdata1;
 
2)并行进程parallel expdp xinxiaoyong/123456@orcl directory=testdata1                                                                                    dumpfile=xinxiaoyong3.dmp parallel=40 job_name=xinxiaoyong3
 3)按表名导 expdp xinxiaoyong/123456@orcl tables=emp,dept dumpfile=expdp.dmp                                                                directory=testdata1;
 4)按查询条件导 expdp xinxiaoyong/123456@orcl directory=testdata1                                                                                            dumpfile=expdp.dmp tables=emp query='WHERE deptno=20';
 5)按表空间导 expdp system/manager directory=testdata1 dumpfile=tablespace.dmp                                                                    tablespaces=temp,example;
 6)导整个数据库 expdp system/manager directory=testdata1 dumpfile=full.dmp FULL=y;
 6.还原数据
 1)导到指定用户下 impdp xinxiaoyong/123456 directory=testdata1 dumpfile=expdp.dmp                                                              schemas=xinxiaoyong;
 2)改变表的owner impdp system/manager directory=testdata1 dumpfile=expdp.dmp                                                               tables=xinxiaoyong.dept remap_schema =xinxiaoyong:system;
 3)导入表空间 impdp system/manager directory=testdata1 dumpfile=tablespace.dmp                                                         tablespaces=example;
 4)导入数据库 impdb system/manager directory=dump_dir dumpfile=full.dmp FULL=y;
 5)追加数据 impdp system/manager directory=testdata1 dumpfile=expdp.dmp                                                         schemas=system  table_exists_action;
3、PLSQL方法：
 登录plsql工具，所使用用户为源数据库有导出权限（exp_full_database,dba等）的用户。 
   1.导出建表语句（包括存储结构） 
 
 
 
 
 
  导出步骤tools ->export user object，选择要导出的对象，导出.sql格式文件并等待导出完成，如 下图：
 
 
 
                                            
 
 
 
导出数据文件 ;
    2.导出步骤tools ->export tables，选择要导出的表及导出的格式进行导出。 
 
 
 
   导出为dmp格式，如下图：
 
 
导出为sql格式，如下图： 
 
 
导出为pde格式，如下图： 
 
 
 
 
            提示说明：采用第三方工具导出导入整个数据库的话，耗时较长，一定要有足够
 
 
 
                        的时间来操作(数据量大的话需要好几个小时)。
 
 
 
3.导入建表语句 
    导入步骤tools->import tables->SQL Inserts 导入.sql文件 
 4.导入数据； 
    tools->import talbes，然后再根据导出的数据格式选择导入dmp文件，或者sql文件，
 或者pde文件。 
    提示说明：导入之前最好把以前的表删除，当然导入另外数据库除外。 
       另外导入时当发现进度条一直卡在一个点，而且导出的文件不再增大时，甚至是提示程序
 未响应，千万不要以为程序卡死了，这个导入导出就是比较缓慢，只要没有提示报错，
 
 
 
或者导入完成就不要停止程序。
 
提示：创建数据库,表空间这里略过，本文主要讨论数据的导入导出，如果对此感觉稍有遗漏，尽请见谅。由于水平有限，本文档仅提供参考。如代码有错误之处，请见谅。如果有更好的开发经验，感谢回复。谢谢观看！！！；

Docker镜像的导入导出
 
本文介绍Docker镜像的导入导出，用于迁移、备份、升级等场景，准备环境如下：
 
CentOS 7.0
Docker 1.18
 
 
导入导出命令介绍
 
涉及的命令有export、import、save、load
 
save
 
命令 
 docker save [options] images [images...] 
 
示例 
 docker save -o nginx.tar nginx:latest 
 或 
 docker save > nginx.tar nginx:latest 
 其中-o和>表示输出到文件，nginx.tar为目标文件，nginx:latest是源镜像名（name:tag）
 
load
 
命令 
 docker load [options] 
 
示例 
 docker load -i nginx.tar 
 或 
 docker load < nginx.tar 
 其中-i和<表示从文件输入。会成功导入镜像及相关元数据，包括tag信息
 
export
 
命令 
 docker export [options] container 
 
示例 
 docker export -o nginx-test.tar nginx-test 
 其中-o表示输出到文件，nginx-test.tar为目标文件，nginx-test是源容器名（name）
 
import
 
命令 
 docker import [options] file|URL|- [REPOSITORY[:TAG]] 
 
示例 
 docker import nginx-test.tar nginx:imp 
 或 
 cat nginx-test.tar | docker import - nginx:imp
 
区别
 
export命令导出的tar文件略小于save命令导出的 
 
export命令是从容器（container）中导出tar文件，而save命令则是从镜像（images）中导出
基于第二点，export导出的文件再import回去时，无法保留镜像所有历史（即每一层layer信息，不熟悉的可以去看Dockerfile），不能进行回滚操作；而save是依据镜像来的，所以导入时可以完整保留下每一层layer信息。如下图所示，nginx:latest是save导出load导入的，nginx:imp是export导出import导入的。 
 
 
建议
 
可以依据具体使用场景来选择命令
 
若是只想备份images，使用save、load即可
若是在启动容器后，容器内容有变化，需要备份，则使用export、import

Sqoop做为关系型数据库RDBMS和大数据平台（HDFS，Hive,Hbase等）导入导出工具，如果不熟悉其参数作用，使用起来各种问题，本文作为博主对Sqoop的实践作出一定的总结，如有错误，仅供参考。
 
Sqoop Job
 
 
Sqoop job 的是给使用者提供一个封装sqoop job的功能，其作用是可以自动更新job 的meta信息，让增量导入时指定的last-value自动被更新记录，不用额外的使用其他手段记录信息。
 
 
Sqoop job操作：
 
  创建job
  sqoop job --create <job-id> -- [import|export] 
  #注意，创建导入导出job ，最后一个'--'后面要加一个空格
  查看job
  sqoop job --show <job-id>
  #查看job的详细信息
  查看job列表
  sqoop job --list
  删除job
  sqoop job --delete <job-id>
  执行job
  sqoop job --exec <job-id>
 
 
Sqoop ‘- -password /- -password-file’ 参数
 
  sqoop支持俩种密码的输入，一种直接传递（--password），一种使用文件（--password-file），直接在shell 上填写密码,sqoop会提示不要在命令行直接使用密码。
  创建sqoop job时，如果直接在命令行使用密码（--password），是无效的，当你执行job时，依然会让你重新输入密码。
 
 
不输入密码的俩种方式：
 
  1.修改sqoop-site.xml
   <property>
      <name>sqoop.metastore.client.record.password</name>
      <value>true</value>
      <description>If true, allow saved passwords in the metastore.
      </description>
    </property>
    此种方式在第一次输入密码后，以后再执行就不需要输入密码
   
  2.使用--password-file 指定密码文件，文件可以是本地文件系统，也可以是HDFS文件
  echo -n 'password' > filename.password
  -n 参数表示不换行输出，当你的密码文件格式不正确时，执行job时会报错
  java.sql.SQLException: Access denied for user 'xxx'@'xxxx' (using password: YES)
 
 
增量导入
 
 
限于篇幅，sqoop全量导入导出，这里就不再介绍
 
 
sqoop使用–incremental参数实现增量导入，有俩种模式：append和lastmodified
 
 
Append模式
 
  必须参数：
  		--check-column <column-name> #检查列，sqoop根据指定列来查询出大于last-value值的数据，实现增量导入,可以为自增的列，如id，也可以是自增的时间类型
  		--incremental append #指定append模式
  		--last-value <init-value>
  		此种模式,大于last-value的值会被追加到目标数据中，如果指定的是时间类型，那么之前数据被修改后，时间变动导致的增量会被追加，因此会有数据重复，一般指定自增的id。
  eg:
  sqoop job --create job-id \
  -- import \
  --connect jdbc-url \
  --username username \
  --password-file password-file-path \
  --table table-name \
  --num-mappers 2 \
  --split-by id \
  --hive-import \
  --hive-database db \
  --hive-table table-name \
  --check-column id \
  --incremental append \
  --last-value 0 \
 
APPEND 模式支持导入到HDFS和Ｈive
 
 
Lastmodified模式
 
 
lastmodified需要指定一个更新的时间列，会将大于指定时间列的值增量导入到目标数据源，被更新的数据行也会被导入,导入方式又分为append和merge-key俩种模式，需要注意的是，此种增量导入方式不支持直接导入到Hive
 
  必须参数：
  	--target-dir hdfs-path # HDFS路径
  	--check-column <column-name> #检查列，sqoop根据指定列来查询出大于last-value值的数据，实现增量导入,一般为日期时间类型
  	--incremental  lastmodified #指定lastmodified模式
  	--last-value <init-value>
  	--append 或--merge-key <column> 
  eg:
  sqoop job --create job-id \
  -- import \
  --connect jdbc-url \
  --username username \
  --password-file password-file \
  --table table \
  --columns columns \
  --num-mappers 1 \
  --target-dir target-dir \
  --fields-terminated-by '\t' \
  --check-column check-column \
  --incremental lastmodified \
  --last-value "1970-01-01 08:00:00" \
  --merge-key id
 
 
指定append时，更新和新增的数据会被追加到目标数据，指定merge-key时，更新的数据会和之前数据按照指定的key合并生成最新的数据，新增的数据会被追加，指定的key一般为主键,需要注意的是，如果target-dir 目录存在，那么该sqoop job会重新启动一个MapReduce作业按照merge-key更新之前的数据生成新的数据集，新生成的文件数量不受num-mappers参数影响
 
增量导出
 
 
Sqoop 增量导出基于hdfs数据，使用–export-dir指定，实现增量导出的关键是–export-dir 指定路径的数据是否是增量的，可以使用以下方式：
 
  INSERT OVERWRITE TABLE/DIRECTORY 'table_name/directory_anme' SELECT...
 
 
增量导出也有俩种模式，allowinsert和updateonly，使用–update-mode 参数进行指定，allowinsert模式是对已存在的数据进行更新，新增的数据进行追加，前提是目标表存在主键，updateonly模式（默认）仅允许对存在的数据进行更新，更新指定的key，用–update-key参数指定
 
  必要参数：
  	--update-key <key>
  	--update-mode <allowinsert/updateonly>
  
  eg:
  sqoop export 
  --connect jdbc-url \
  --username username \
  --password password \
  --table <targetTable> \
  --fields-terminated-by ‘,’ \
  --update-key key \
  --update-mode  allowinsert \
  --export-dir export-dir
 

 
elasticdump工具导入导出es数据，按条件导入导出
 
 1.安装elasticdump
 
 
 npm install elasticdump -g
 
 2.导入导出数据
 
 （1）index->index:
 
 
 安装目录（我的安装目录是/home/node-v12.16.3-linux-x64/）+bin/elasticdump --input=http://es02:9200/trip_incomplete_202007 --output=http://es02:9200/trip_incomplete_202007 --type=data
 
 （2）index->file:
 
 
 安装目录（我的安装目录是/home/node-v12.16.3-linux-x64/）+bin/elasticdump --input=http://es02:9200/trip_incomplete_202007 --output=/home/trip_incomplete_202007_guizhou.json --type=data
 
 （3）file->index:
 
 
 /home/node-v12.16.3-linux-x64/bin/elasticdump --input=./position-2020-05-18-position-22.json --output=http://192.168.114.111:9200/trajectory_jx_0519
 
 （4）按条件导出
 
 
 /home/node-v12.16.3-linux-x64/bin/elasticdump --input=http://es02:9200/trip_info_202007 --output=/home/trip_info_202007_guizhou.json --type=data --searchBody=’{“query”:{“bool”:{“must”:[{“range”:{“tansTime”:{“gt”:“2020-07-08 00:00:00”,“lt”:“2020-07-09 00:00:00”}}},{“term”:{“labelAttribution”:“52”}}],“must_not”:[],“should”:[]}},“from”:0,“size”:1000000,“sort”:[],“aggs”:{}}'

 
–searchBody=’’ 在’'里加入条件即可(标点为英文标点)