精华内容
下载资源
问答
  • mysql导入数据id重复解决方案

    千次阅读 2017-12-16 22:30:14
    mysql导入数据id重复解决方案

    update studentattend set id = id + 1000000

    展开全文
  • elasticsearch从mysql导入数据

    万次阅读 2015-12-27 21:00:40
    elasticsearch从mysql导入数据

    详细:https://github.com/jprante/elasticsearch-jdbc(最下面有各数据库的导入方法说明)

    elasticsearch版本为1.5.2

    1、下载 elasticsearch-jdbc 1.5.2.0

    wget http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/1.5.2.0/elasticsearch-jdbc-1.5.2.0-dist.zip

    2、解压 elasticsearch-jdbc 1.5.2.0

    unzip elasticsearch-jdbc-1.5.2.0-dist.zip

    3、配置 elasticsearch-jdbc 1.5.2.0

    新建一个.sh文件:

     vi /usr/local/elasticsearch-jdbc-1.5.2.0/bin/import.sh
    #!/bin/bash
    set -e
    
    bin=/usr/local/elasticsearch-jdbc-1.5.2.0/bin
    lib=/usr/local/elasticsearch-jdbc-1.5.2.0/lib
    echo '{
    "type" : "jdbc",
    "jdbc" : {
    "url" : "jdbc:mysql://12.43.18.29:3306/db_1",
    "user" : "admin",
    "password" : "948",
    "sql" : "select * from ach;",
    "index": "db_1",
    "type": "ach"
    }
    }' | java \
    -cp "${lib}/*" \
    -Dlog4j.configurationFile=${bin}/log4j2.xml \
    org.xbib.tools.Runner \
    org.xbib.tools.JDBCImporter

    4、执行导入

    ./import.sh

    5、测试导入结果

    curl -XGET ‘localhost:9200/db_1/ach/_search?pretty&q=*’

    *注意导入不同的表时修改sql和type

    增量导入数据:(自带定时更新不符合)

    请注意增量导入sql串的写法,

    “select * from mon where tTime >\”2015-12-21 04:59:59\” “,而不是

    “select * from mon where tTime >‘2015-12-21 04:59:59’ “

    导入不成功可以去目录下看log日志

    数据导入参考:

    http://www.open-open.com/lib/view/open1431071580335.html

    展开全文
  • 解决MYSQL导入数据文件大小限制

    万次阅读 2018-02-28 20:42:56
    修改MySQL导入数据文件大小限制的方案 1. Linux中修改my.cnf文件. max_allowed_packet=500M 2. Window中修改my.ini文件(在安装目录下能找到)PS:注意这句话加的位置 修改之后保存文件并且重启MySQL服务,可以...

    修改MySQL导入数据文件大小限制的方案

     

    1. Linux中修改my.cnf文件.

     

    max_allowed_packet=500M

     

    2. Window中修改my.ini文件(在安装目录下能找到)


    PS:注意这句话加的位置

     

    修改之后保存文件并且重启MySQL服务,可以命令行查看下修改的值是否生效


    展开全文
  • sqoop从mysql导入数据到hive

    千次阅读 2019-09-19 21:12:36
    sqoop从mysql导入数据到hive 环境: hadoop 2.7.2 hive 2.3.6 sqoop 1.4.7 安装Sqoop sqoop-1.4.7下载地址 下载下来解压后配置 cd $SQOOP_HOME/conf mv sqoop-env-template.sh sqoop-env.sh vi ...

    sqoop从mysql导入数据到hive

    环境:

    hadoop 2.7.2
    hive 2.3.6
    sqoop 1.4.7
    

    安装Sqoop

    sqoop-1.4.7下载地址

    1. 下载下来解压后配置
    cd $SQOOP_HOME/conf
    mv sqoop-env-template.sh sqoop-env.sh 
    vi sqoop-env.sh
    
    #根据你的实际情况配置
    #Set path to where bin/hadoop is available
    export HADOOP_COMMON_HOME=/opt/moudle/hadoop-2.7.2
    
    #Set path to where hadoop-*-core.jar is available
    export HADOOP_MAPRED_HOME=/opt/moudle/hadoop-2.7.2
    
    #set the path to where bin/hbase is available
    #export HBASE_HOME=  我没有所有没配
    
    #Set the path to where bin/hive is available
    export HIVE_HOME=/opt/moudle/hive-1.2.1
    
    #Set the path for where zookeper config dir is
    #export ZOOCFGDIR=
    export HIVE_CONF_DIR=/opt/moudle/hive-1.2.1/conf
    
    1. 然后弄一个mysql的驱动包(下载地址 5.1.47)放入sqoop的lib目录下

    测试使用

    为了方便你可以将sqoop_home/bin写入/etc/profile。后面sqoop命令都指的是sqoop安装目录下bin目录下的sqoop脚本

    读取mysql数据库目录

    # \表示换行  这样写主要是为了看得清晰点
    # \后面不能有空格
    # 任何语句和\之间都需要至少有一个空格
    # 最后一行可以没有\ 
    bin/sqoop list-databases \
    --connect jdbc:mysql://hadoop001:3306 \
    --username root   \
    --password 123456
    

    从Mysql导入数据到Hive

    建表(hive端)

    • 方式一:create-hive-table语句

      sqoop create-hive-table \
      --connect jdbc:mysql://hadoop001:3306/learn \
      --username root \
      --password 123456 \
      --table user \  #mysql 的user表
      --hive-table zzy.user  # 自动在 hive 下 zzy库下创建一个对应的user表
      
    • 方式二:手动建一张和mysql字段完全匹配的hive表

      create table if not exists zzy.test2(
          user_id bigint,
          user_name string,
          trade_time string
      )
      row format delimited
      FIELDS TERMINATED by ',';
      

    导入数据

    bin/sqoop import \
    --connect jdbc:mysql://hadoop001:3306/learn \
    --username root --password 123456 \
    --table user \
    --hive-import \
    --fields-terminated-by ',' \  #如果是自动建的表分隔符不用填。默认的分隔符是'\001'
    --hive-table zzy.test2
    
    如果不覆盖,多次添加的话会自动排序。
    0	zzy	2019-09-18 00:00:00.0
    0	zzy	2019-09-18 00:00:00.0
    0	zzy	2019-09-18 00:00:00.0
    1	zzy2	2019-09-20 15:25:17.0
    1	zzy2	2019-09-20 15:25:17.0
    1	zzy2	2019-09-20 15:25:17.0
    2	zzy3	2019-09-10 15:25:32.0
    2	zzy3	2019-09-10 15:25:32.0
    2	zzy3	2019-09-10 15:25:32.0
    

    别的导入方式可以参考官方文档,接下来说一下过程中遇到的问题。

    Exception1:

    Sqoop:Import failed:java.lang.ClassNotFoundException:org.apache.hadoop.hive.conf.HiveConf
    

    解决办法:

    在/etc/profile中添加下面一行
    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
    

    Exception2:

    INFO conf.HiveConf: Found configuration file null
    WARN common.LogUtils: hive-site.xml not found on CLASSPATH
    

    解决办法:

    在sqoop-env.sh中添加export HIVE_CONF_DIR=$HIVE_HOME(这里填你自己的hive安装目录)/conf
    

    Exception3:

    main ERROR Could not register mbeans java.security.
    AccessControlException: access denied
     ("javax.management.MBeanTrustPermission" "register")
    

    解决办法:

    进入你的jdk-->jre-->lib-->security下
    vi java.policy
    
    grant {
    	# 在grant这个标签里添加下面这句
    	permission javax.management.MBeanTrustPermission "register";
    };
    
    

    Exception4:

    ERROR exec.DDLTask:java.lang.NoSuchMethodError:
    com.fasterxml.jackson.databind.ObjectMapper.readerFor
    (Ljava/lang/Class;)Lcom/fasterxml/jackson/databind/ObjectReader;
    

    解决办法:

    删除你sqoop/lib下所有以jackson开头的jar包。
    然后复制你hive/lib下所有以jackson开头的jar包到sqoop/lib下。
    
    展开全文
  • 用sqoop2从mysql导入数据到hbase

    千次阅读 2018-08-15 10:49:34
    用sqoop2从mysql导入数据到hbase 标签(空格分隔): sqoop2 hbase hadoop mysql 数据迁移 一、基础环境 hadoop-2.6.0 sqoop-1.99.6 hbase-1.0.1.1 二、数据迁移实际操作步骤 1、mysql中表结构显示 ...
  • Mysql导入数据量较大的SQL文件

    千次阅读 2018-05-09 19:48:44
    问题描述:Navicat for Mysql 导入数据量较大的sql文件时,会提示操作失败,如图, 解决方法: 采用mysql source命令导入; 操作步骤: 1. 打开cmd,输入命令:mysql -h localhost -u root -p 2. 输入数据库...
  • MySQL导入数据提示没有SUPER Privilege权限处理
  • datax从mysql导入数据到mysql

    千次阅读 2019-02-02 13:42:32
    DataX是阿里开源数据同步工具,实现异构数据源的数据同步,Github地址:https://github.com/alibaba/DataX,企业存储离线数据到数仓,但是没办法对接业务,本次实践主要是运用DataX实现数据从数仓导入MySQL,从而...
  • 修改MySQL导入数据文件大小限制的方案 1.Linux中修改my.cnf文件. max_allowed_packet=500M 2. Window中修改my.ini文件(在安装目录下能找到) PS:注意这句话加的位置 修改之后保存文件并且重启MySQL服务,...
  • MYSQL导入数据出现The MySQL server is running with the --secure-file-priv option so it cannot execute this statement 方法一: 这个原因其实很简单,是因为在安装MySQL的时候限制了导入与导出的目录权限 只能...
  • mysql导入数据错误“ERROR 2006 (HY000): MySQL server has gone away”和mysql导入导出命令
  • mysql导入数据

    千次阅读 2017-06-29 13:39:55
    在命令行下mysql数据导出有个很好用命令mysqldump,它的参数有一大把,可以这样查看: mysqldump 最常用的: mysqldump -uroot -pmysql databasefoo table1 table2 > foo.sql 这样就可以将数据库databasefoo的表...
  • Linux向mysql导入数据

    千次阅读 2018-11-30 10:37:45
    方式1: 1)登录mysql,命令:mysql -uroot -ppassword 2)创建mysql数据库:create database dbname;...4)导入数据:source /data/dbname.sql; 方式2: mysql -u用户名 -p密码 数据库名 < dbname.sql  ...
  • Mysql 导入数据慢的解决方法

    万次阅读 2017-05-31 11:57:42
    在导入MySQL 数据的时候,数据量较大的情况下 比较慢。。。尝试一下方式会提高导入速度 ...找到 my.cnf 文件,添加以下两行 ...重启Mysql,重新导入数据,见证奇迹。 skip_innodb_doublewrite 禁
  • mysql导入数据load data infile用法

    万次阅读 2015-01-21 10:57:45
    mysql导入数据load data infile用法 基本语法: load data [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTIONALLY] enclosed by ...
  • mysql导入数据到mongodb的方法

    万次阅读 2011-03-17 00:18:00
    目前我知道的几种从mysql导入数据到mongodb的方法,如果发现新方法会继续添加。   1)自己写一个程序,从mysql select数据,然后调用insert,插入数据到mongodb中。 <br /> 2)通过mysql工具...
  • 开场先注意:导出 或 导入数据,尽可能的使用 MySQL 自带命令工具 ,不要使用一些图形化的工具 (Navicat…)。因为 MySQL 命令行工具至少要比图形化工具快 2 倍 。 命令工具行方式: 导出整个实例 mysqldump -u...
  • txt文档批量向MySQL导入数据

    千次阅读 2015-11-10 15:29:42
    三、利用命令行导入数据 结果如下: 开始时,导入命令行用的:load infile'/home/xleer/1.txt' into table onee fields terminated by ' ';导入结果为: 源txt文本的内容如下: 结果总是有一列导入的
  • mysql5.5导出数据提示–...MYSQL导入数据出现ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement mysql可使用 into outfile 参数把某表中数...
  • MySQL导入数据出现错误:Got a packet bigger than 'max_allowed_packet' bytes 原因: 导入的数据大于系统的限制的最大包大小。 也许插入的数据太大了,不过因为当前做的项目不可避免会遇到这个大数据插入的情况...
  • sqoop从mysql导入数据到hdfs,报错 java.net.ConnectException: Call From bigdata001/192.168.254.128 to bigdata001:10020 failed on connection exception: java.net.ConnectException: Connection refused; For...
  • 我们常常导入数据mysql有一个高效导入方法,那就是load data infile 下面来看案例说明   基本语法: load data [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name ...
  • 将iis日志导入,myslq数据库中。出现一些问题。日志中出现这中特殊符号?€€????€€无法读入到数据库 ,无论将编码都设成gbk还是utf8都出现同样的报错,就这有特殊符号的这一行。 日志是服务器端自动记录的,偶尔还...
  • MYSQL导入数据出现ERROR 1049 (42000): Unknown database ‘n??;’ 背景 我需要将一个csv表中的数据导入数据库创建好的表中,产生的问题如下: ![错误](https://img-blog.csdnimg.cn/20191126194742755.png) ...
  • Mysql导入数据丢失的解决方案

    千次阅读 2019-03-29 17:14:24
    在项目开发中我们都会把服务器上的数据导入到本地来开发,但是数据量比较大的时候就是导致数据导入不全、数据丢失等情况, 原因是解析时间太久导致写入超时,然后就会直接跳入下一个表,导致数据不全。 解决方案是...
  • mysql导入数据的方法

    千次阅读 2012-09-07 17:26:47
     mysqlimport位于mysql/bin目录中,是mysql的一个载入(或者说导入数据的一个非常有效的工具。这是一个命令行工具。有两个参数以及大量的选项可供选择。这个工具把一个文本文件(textfile)导入到你指定的数据
  • SQOOP从MySQL导入数据到HDFS

    千次阅读 2017-10-10 13:25:43
    一、Sqoop导入的参数是import 可以通过sqoop import –help查看import的具体用法 [root@hadoop001 conf]# sqoop import ...二、导入数据 1、执行以下命令 sqoop import –connect jdbc:mysql://hadoop001:3306/sqoo
  • 如何加快mysql导入数据的速度

    千次阅读 2019-09-21 11:49:22
    我们在初始化数据时,如果数据量比较大的话,比如一个初始化 sql文件有3G,导入的速度一般比较慢,为了加速导入的速度,我们可以通过修改2个参数配置(针对存储引擎为innerdb): (1)临时关掉innerdb的写日志功能: ...
  • 数据表有id这一列,为主键列。现在如果有数据文件,如excel或者xml,想将其中的数据导入对应的目标表,但是不...导入的时候只让name=张三,age=20 id不取1而是生成一个uuid,怎么做到呢,工具是Navicat,数据库是mysql
  • NaviCat for Mysql导入数据失败解决方法

    万次阅读 2016-05-27 09:33:03
    1.首选从NaviCat for Mysql转储你要的sql文件,eg:1.sql。 2.用编辑器打开1.sql,在里面加入一行代码:use 1或者creat 1 (1是你的数据库名称),如下: 3.然后打开NaviCat for Mysql 在你需要的地方建立一个...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 242,817
精华内容 97,126
关键字:

mysql导入数据

mysql 订阅