精华内容
下载资源
问答
  • 批量导入数据

    2017-09-19 15:50:24
    批量导入数据,格式比较规范的一个整理;可以直接修改一些来使用,也可以自己封装一下成为一个批量导入的小工具
  • plsql批量导入数据

    2013-03-05 08:48:57
    plsql批量导入数据
  • 使用excel批量导入数据
  • 内含有各种批量导入数据操作,并可以对比执行速度,百万数据导入只需一秒钟
  • 再者导入数据用的是py脚本,脚本内容参考至自强学堂–中级教程–数据导入.  注:本文主要介绍自己学习的经验总结,而非教程! 正文:首先说明采用Django中bulk_create()函数来实现数据批量导入功能,为什么会选择它呢? ...
  • shell 批量导入数据

    千次阅读 2017-04-26 16:49:28
    shell实现mysql批量导入数据

    有个测试需要向mysql中批量导入大量数据, 首先想到的是source和loaddata,使用脚本配合,但是导入时因为数据比较大的缘故或是其他原因,导致source失败。

    后来找到了一个简单方法,一句搞定。


    已经知道要导入的文件,ll如下。如图所示多个库多个文件。

    -rw-r--r-- 1 root root  13158906 4月  25 15:37 database.table_s2_tmp.sql
    -rw-r--r-- 1 root root      2873 4月  25 15:37 database.table_s3.sql
    -rw-r--r-- 1 root root 228317198 4月  25 15:38 database.table_s3_tmp_30.sql
    -rw-r--r-- 1 root root  67877941 4月  25 15:38 database.table_s3_tmp_7.sql
    -rw-r--r-- 1 root root 117999480 4月  25 15:38 database.table_s3_tmp.sql
    -rw-r--r-- 1 root root 181120296 4月  25 15:38 database1.table_s4.sql
    -rw-r--r-- 1 root root 181121016 4月  25 15:39 database1.table_s4_tmp.sql
    -rw-r--r-- 1 root root      2869 4月  25 15:39 database1.table_sa.sql
    -rw-r--r-- 1 root root 385396393 4月  25 15:40 database2.table_sa_tmp_30.sql
    -rw-r--r-- 1 root root 119759525 4月  25 15:41 database2.table_sa_tmp_7.sql
    -rw-r--r-- 1 root root 171142847 4月  25 15:40 database2.table_sa_tmp.sql
    获取要导入的文件名,存入一个文件  ll |awk '{print $NF}'  >tb.txt.


    shell脚本如下

    #!/bin/bash
    path=/home/mengniu/tb.txt  #导入文件列表
    user=root
    password=root
    port=3306
    host=127.0.0.1
    cat $path |while read line
    do
    dbname=`echo $line|awk '{print $NF}' |awk -F. '{print $1}'` #获取dbname
    echo $dbname  
    echo $line   #导入的文件名
    mysql -h$host -u$user -p$password -P$port -D$dbname < /home/root/xxx/$line
    done





    展开全文
  • Oracle批量导入数据

    2016-09-07 22:09:26
    下面我们直接以一个导入数据的案例来讲述oracle批量导入数据的方式,案例是为一个usertest的表导入数据 一、创建对应的表(usetest)语言create table usetest( id int, name varchar(20) );usetest.csv的数据格式1 ...

    下面我们直接以一个导入数据的案例来讲述oracle批量导入数据的方式,案例是为一个usertest的表导入数据


    一、创建对应的表(usetest)语言

    create table usetest(
    id int,
    name varchar(20)
    );

    usetest.csv的数据格式

    1   张三
    2   李四
    3   王五
    4   翠花
    ........
    ........

    二、创建导数据的ctl文件usetest.ctl

    load data
    infile usetest.csv
    into table usetest
    (
        id char terminated by '\t',//tab空格分离数据
        uname char terminated by whitespace
    )

    三、开始导入数据

    sqlldr userid=scott/tiger control=usetest.ctl

    展开全文
  • Oracle快速批量导入数据

    千次阅读 2019-07-12 15:13:18
    Oracle快速批量导入数据 要求是从SQLServer中读取数据然后存储到Oracle中,使用了Oracle的类库:Imports Oracle.ManagedDataAccess.dll 前期扒了一个前辈的C#代码,小伙伴们可以去观摩学习:...

    Oracle快速批量导入数据

    要求是从SQLServer中读取数据然后存储到Oracle中,使用了Oracle的类库:Imports Oracle.ManagedDataAccess.dll
    前期扒了一个前辈的C#代码,小伙伴们可以去观摩学习:https://blog.csdn.net/u013452472/article/details/71108179
    本次实现是通过VB实现

    Public Sub InsertBatchData(dt As DataTable)
            Dim dtTime As DateTime = DateTime.Now
            Dim conStr As String = "user id="用户名";password=“密码”;data source=“服务器”/orcl; Pooling=false;"
            Dim conn As Oracle.ManagedDataAccess.Client.OracleConnection = New Oracle.ManagedDataAccess.Client.OracleConnection(conStr)
            Using (conn)
                Dim command As Oracle.ManagedDataAccess.Client.OracleCommand = New Oracle.ManagedDataAccess.Client.OracleCommand()
                conn.Open()
                command.Connection = conn
                '记录插入的条数
                command.ArrayBindCount = dt.Rows.Count
                '插入语句
                command.CommandText = "INSERT INTO      table_name(REGIST_NO,GUEST_NO,REGIST_TOP,BOOK,POINT)
                                values( :REGIST_NO,:GUEST_NO,:REGIST_TOP,:BOOK,:POINT)"
    
    #Region "定义数组(同表中字段)须同数据库命名规范"
                Dim REGIST_NO(dt.Rows.Count) As String
                Dim GUEST_NO(dt.Rows.Count) As String
                Dim REGIST_TOP(dt.Rows.Count) As String
                Dim BOOK(dt.Rows.Count) As Decimal
               
    #End Region
    
    #Region "参数传递,须按照顺序一一对应,才可解析成功"
                '1
                Dim deptNoParam = New Client.OracleParameter("REGIST_NO", Client.OracleDbType.Varchar2)
                deptNoParam.Direction = ParameterDirection.Input
                deptNoParam.Value = REGIST_NO
                command.Parameters.Add(deptNoParam)
                '2
                Dim deptNoParam2 = New Client.OracleParameter("GUEST_NO", Client.OracleDbType.Varchar2)
                deptNoParam2.Direction = ParameterDirection.Input
                deptNoParam2.Value = GUEST_NO
                command.Parameters.Add(deptNoParam2)
                '3
                Dim deptNoParam3 = New Client.OracleParameter("REGIST_TOP", Client.OracleDbType.Varchar2)
                deptNoParam3.Direction = ParameterDirection.Input
                deptNoParam3.Value = REGIST_TOP
                command.Parameters.Add(deptNoParam3)
                '4
                Dim deptNoParam4 = New Client.OracleParameter("BOOK", Client.OracleDbType.Decimal)
                deptNoParam4.Direction = ParameterDirection.Input
                deptNoParam4.Value = BOOK
                command.Parameters.Add(deptNoParam4)
               
    
    #End Region
    
    #Region "将表格数据添加至数组中"
                For i As Integer = 0 To dt.Rows.Count - 1
                    REGIST_NO(i) = dt.Rows(i).Item("regist_no")
                    GUEST_NO(i) = dt.Rows(i).Item("guest_no")
                    REGIST_TOP(i) = dt.Rows(i).Item("regist_top")
                    BOOK(i) = dt.Rows(i).Item("book")              
                Next
    #End Region
                '这个调用将把参数数组传进SQL,同时写入数据库 
                command.ExecuteNonQuery()
            End Using
    

    代码实现较为简单,单较于传统意义上的Insert单句传输已经非常提高效率了,主要是通过以下几个步骤:
    1.撰写带有参数的SQL语句
    2.根据写入表的列列名和数据格式定义数组,数据格式转换如下表
    在这里插入图片描述数据格式对应表
    3.new Parameter 然后将参数与数组绑定添加至command中
    4.循环遍历,将datatable中的数据转存至数组中
    5.执行SQL语句
    需注意的是:数组和Parameter的数据类型须和Oracle库中的表对应完全一致,且不能为空(目前只发现了这些问题,后续遇到待补充)

    另:自增列如何从1重新开始 https://blog.csdn.net/yangxiaodong88/article/details/80607579
    1 方式一
    清空表数据并且将主键自增长从1开始(1.先清空表数据2.在把表的自增长设置为1)
    DELETE FROM grade;
    ALTER TABLE grade AUTO_INCREMENT=1;

    方式2
    使用truncate清空全部数据主键自增长是从1开始(效率更高)
    truncate table “表名字”

    展开全文
  • redis 批量导入数据

    2019-11-01 19:47:53
    redis 批量导入数据 @Test public void importEs29() throws Exception { List<Dict> list=new ArrayList<>(); list.add(new Dict().setCustomerId("1").setTagIdList("hello world"))...

    redis 批量导入数据

     @Test
        public void importEs29() throws Exception {
            List<Dict> list=new ArrayList<>();
            list.add(new Dict().setCustomerId("1").setTagIdList("hello world"));
            list.add(new Dict().setCustomerId("2").setTagIdList("java python"));
            //批量set数据
            redisTemplate.executePipelined(new RedisCallback<String>() {
                @Override
                public String doInRedis(RedisConnection connection)  {
                    for (int i=0;i<list.size();i++) {
                        Dict dict = list.get(i);
                        connection.set(dict.getCustomerId().getBytes(),dict.getTagIdList().getBytes());
                    }
                    return null;
                }
            });
    
            Assert.assertTrue(true);
    
        }

     

    展开全文
  • Neo4j批量导入数据

    千次阅读 2019-01-19 17:38:28
    有接近2G的数据想导入到Neo4j图数据库中,最开始想的是利用python连接...最后决定采用批量导入(原来没用批量导入是想插入的时候先判断是否存在,事实证明只要设置好ID就行) 参考文章: https://www.jianshu.com/...
  • MySQL批量导入数据

    千次阅读 2019-06-29 09:42:51
    MySQL提供的批量导入数据的命令是: Load Data InFile 'e:/hetongtxt' Into Table `合同` fields terminated by ' ' lines terminated by '\r\n'; fileds terminated by '',表示字段之间的间隔符,lines ...
  • R批量导入数据

    2016-09-26 17:40:55
    批量导入数据的两种方法 pollutantmean = function(director, pollutant, id = 1:332) { setwd(“E:/clean/R_course”) filenames = list.files(“specdata”)[id] #temp = c() 方法一,采用lapply,...
  • Sqlite3 批量导入数据

    千次阅读 2016-01-30 23:34:47
    Sqlite3 批量导入数据
  • 使用csv文件批量导入数据 CSV高级应用
  • solr配置批量导入数据

    千次阅读 2018-05-07 09:58:14
    配置批量导入数据使用dataimport插件批量导入数据。第一步:把dataimport插件依赖的jar包添加到solrcore(collection1\lib)中复制到...........因为批量导入mysql数据库内容所以添加mysql数据库驱动包第二步:配置...
  • 今天小编就为大家分享一篇python批量导入数据进Elasticsearch的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 批量导入shp数据

    2017-12-07 13:40:32
    在平时导入数据的时候,有些数据放在多个文件加下,本范例示范了如何批量导入这些文件夹下的SHP数据,并且设计了每隔1分钟执行1次导入操作。
  • 批量导入数据到Redis

    千次阅读 2019-01-23 11:06:33
    Redis2.6之后,redis-cli支持pipe模式进行批量插入数据 我们只需要将数据格式化为: SET key value(空格隔开) 之后在命令行使用管道的方式导入即可: cat insert_file | redis-cli --pipe 具体操作如下: 1....
  • JanusGraph批量导入数据优化

    千次阅读 2019-07-10 15:25:37
    批量导入工具: https://github.com/dengziming/janusgraph-util 批量导入配置项 storage.batch-loading =true 导入的数据必须具有一致性并且和已存在的数据必须具有一致性。(比如:name数据是具有唯一索引...
  • 文章目录ElasticSearch - 批量导入数据1.准备数据2.Bulk导入数据 ElasticSearch - 批量导入数据  我们假设一个这样的场景,我们的小伙伴通过爬虫或一些其他方式把某种数据给我们写入到了一个文件当中,这时我们...
  • 使用python批量导入数据到neo4j

    万次阅读 2018-12-04 16:21:11
    说到neo4j的批量导入数据,我想你一定会想到如下几点: import tools load file neo4j driver for python/java… 前两种必须要数据文件存在文件系统才可以执行。 但是如果你的数据是以流数据的形式持续获取...
  • 今天小编就为大家分享一篇layui 上传文件_批量导入数据UI的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 用pymysql批量导入数据

    千次阅读 2019-03-18 10:08:12
    (1)往teacher表里添加数据 (2)往classes表里添加数据 (3)往t_classes表里添加数据 2.装饰器 数据库: 老师(teacher):id,name,age,gender,pro 课程(classes):id,label,description 老师_课程(t_classes...
  • arcgis批量导入数据

    千次阅读 2018-11-29 09:37:58
    1. 准备好导入数据excel,数据要有经纬度 2. 在catalog里面右键excel,弹出菜单中选择create feature class---from XY tables 选择相对应的空间参考系,比如 最后按确定保存,效果如下: 如何将...
  • Elasticsearch 批量导入数据

    万次阅读 2017-03-10 10:18:31
    前言 Elasticsearch 是一款非常高效的全文检索引擎。 Elasticsearch 可以非常方便地进行数据的多维分析,所以...这里简单分享一下批量导入数据的操作方法与相关基础,还有可能会碰到的问题,详细内容可以参考 官方
  • excel批量导入数据

    2012-12-03 21:25:24
    http://www.cnblogs.com/shenliang123/archive/2012/04/17/2453664.html excel批量导入数据
  • 做android和ios开发的一般都用Sqlite数据库,有的时候数据需要批量导入,那么如何导入呢?  在这里,介绍2种方法供大家参考。  一、用sqlite命令  以windows系统为例,linux下命令是一样的。  1.安装...
  • SSM+Layui实现批量导入数据功能

    千次阅读 多人点赞 2019-05-04 16:26:28
    SSM+Layui实现批量导入数据功能 最近要实现批量导入功能,查看了相关资料,以及百度了相关内容,发现有点不是很全,特别是引入的依赖不全 话不多说,直接上代码开始: 1、pom.xml文件引入相关依赖 <!--文件上传...
  • mongodb批量导入数据

    2013-08-07 17:24:59
    mongodb批量导入数据1.生成批量脚本数据文件,如果数据量过大,可拆分成多个文件2.编写执行shell脚本,脚本分别读取各数据文件,并写入mongodb中a文件内容:db.blacklist.insert({"_id":"132xxxxxxx1&...
  • load data infile 命令 高速向数据库中做批量导入 首先:生成txt数据文件,将值全部弄好,不同值之间用,分隔; 然后:把生成的文件放到数据库对应的数据存储目录,命令登录mysql,用load data命令去导入; 注意...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 92,923
精华内容 37,169
关键字:

怎样批量导入数据