精华内容
下载资源
问答
  • java实现Excel数据导入到数据库

    千次下载 热门讨论 2014-05-31 23:59:34
    java实现Excel数据导入到数据库,如果数据库中存在就更新。 数据库数据导入到Excel表中。
  • matlab 数据导入

    万次阅读 多人点赞 2015-05-24 16:47:35
    另一种是通过matlab的数据导入向导导入。下面分布介绍这两种方法: 一、使用matlab数据导入向导  1、先来看看txt文档中保存的数据结构,如图所示,数据之间用空格隔开,这种结构是比较理想的。可以直接导入。或者...

    matlab导入数据有2中方式,一种是在命令行通过代码把数据导进去;另一种是通过matlab的数据导入向导导入。下面分布介绍这两种方法:

    一、使用matlab数据导入向导

        1、先来看看txt文档中保存的数据结构,如图所示,数据之间用空格隔开,这种结构是比较理想的。可以直接导入。或者数据之间用        逗号、分号、tab符号等等,都算作比较理想的。

        2、 接着我们打开MATLAB,在file菜单下找到import data选项,选择所要添加的txt。添加进去即可。

        3、然后会出现数据导入设置向导界面,,我们首先要选择是什么符号隔开了数据,这里自动的使用了空格作为间隔符,还可以使用         comma(逗号)、semicolon(分号)、tab(四个空格)、其他符号。在此我们选择是空格,因为txt中的数据是以空格分隔。

       4、根据自己的数据所要的格式选择数据格式,如列矢量或数值矩阵。在此我们选择是数据矩阵,我们看到数据被存放到一个矩阵             里。没有列标题和行标题。

       5、选中所有数据后点击导入,我们看到数据导入matlab的工作空间,在右侧的工作区可以看到数值矩阵。

       6、通过右击工作区的数值矩阵可以看到对此矩阵的进行的操作,选择另存为可以把此.mat文件存放到我们想要的位置,一般情况下       是和我们的自己的项目放在一个文件夹下,还可以修改。.mat的名字

    二、通过指令导入数据。如文本文件、word文件、xml文件、xls文件、图像文件和音视频文件等。本节介绍文本文件(txt)的读写。其他文件的读写,用户可以参考MATLAB帮助文档。

     

           1、csvread函数的调用格式如下:

    ● M = csvread('filename'),将文件filename中的数据读入,并且保存为M,filename中只能包含数字,并且数字之间以逗号分隔。M是一个数组,行数与filename的行数相同,列数为filename列的最大值,对于元素不足的行,以0补充。

    ● M = csvread('filename', row, col),读取文件filename中的数据,起始行为row,起始列为col,需要注意的是,此时的行列从0开始。

    ● M = csvread('filename', row, col, range),读取文件filename 中的数据,起始行为 row,起始列为col,读取的数据由数组 range 指定,range 的格式为:[R1 C1 R2 C2],其中R1、C1为读取区域左上角的行和列,R2、C2为读取区域右下角的行和列。

      csvwrite 函数的调用格式如下:

    ● csvwrite('filename',M),将数组M中的数据保存为文件filename,数据间以逗号分隔。

    ● csvwrite('filename',M,row,col),将数组M中的指定数据保存在文件中,数据由参数 row和col指定,保存row和col右下角的数据。

    ● csvwrite写入数据时每一行以换行符结束。另外,该函数不返回任何值。

    2、excel数据导入指令

     data = xlsread('a.xls');  首先要把a.xls文件放到matlab工作目录下

    3、对于纯文本型的 TXT 文件

    可以直接用x=load('a.txt')

    补充:

    MATLAB中有两种文件I/O程序:high level and low level.
    High level routines: 包括现成的函数,可以用来读写特殊格式的数据,并且只需要少量的编程。
    Low level routines: 可以更加灵活的完成相对特殊的任务,需要较多的额外编程。

    High level routines 包括现成的函数,可以用来读写特殊格式的数据,并且只需要少量的编程。

     

    举个例子,如果你有一个包含数值和字母的文本文件(text file)想导入MATLAB,你可以调用一些low level routines自己写一个函数,或者是简单的用TEXTREAD函数。

     

    使用high level routines的关键是:文件必须是相似的(homogeneous),换句话说,文件必须有一致的格式。下面的段落描述一些high level file I/O routines并给出一些例子帮助理解概念。

     

    LOAD/SAVE

     

    主要的high level file I/O routines 是LOAD 和 SAVE函数。LOAD
    可以读MAT-file data或者用空格间隔的格式相似的ASCII data. SAVE可以将MATLAB变量写入MAT-file格式或者空格间隔的ASCII data。大多数情况下,语法相当简单。下面的例子用到数值由空格间隔的ASCII file 
    sample_file.txt :

     

    1 5 4 16 8

    5 43 2 6 8

    6 8 4 32 1

    90 7 8 7 6

    5 9 81 2 3

     

    Example:
    用 LOAD and SAVE 读写数据


    CODE:

    % Load the file to the matrix, M :
    M = load('sample_file.txt') 

    % Add 5 to M :
    M = M +5 

    % Save M to a .mat file called 'sample_file_plus5.mat':
    save sample_file_plus5 M

    % Save M to an ASCII .txt file called 'sample_file_plus5.txt' :
    save sample_file_plus5.txt M -ascii 

    UIGETFILE/UIPUTFILE

     

    UIGETFILE/UIPUTFILE是基于图形用户界面(GUI)的。会弹出对话框,列出当前目录的文件和目录,提示你选择一个文件。UIGETFILE让你选择一个文件来写(类似Windows ‘另存为’选项?)。用UIGETFILE,可以选择已存在的文件改写,也可以输入新的文件名。两个函数的返回值是所选文件名和路径。

     

    Example:
    用 UIGETFILE 从当前目录选择一个 M-file


    CODE:

    % This command lists all the M-files in the current directory and
    % returns the name and path of the selected file

    [fname,pname] = uigetfile('*.m','Sample Dialog Box') 


    注意: UIGETFILE 一次只能选择一个文件。

     

    UIIMPORT/IMPORTDATA

     

    UIIMPORT是一个功能强大,易于使用的基于GUI的high level routine,用于读complex data files。文件也必须是homogeneous。

     

    IMPORTDATA形成UIIMPORT的功能,不打开GUI。可以将IMPORTDATA用于函数或者脚本中,因为在函数或者脚本中基于GUI的文件导入机制并不理想。下面的例子用到包含几行文件头和文本、数值数据的文件'sample_file2.txt' :

     

    This is a file header.

    This is file is an example.

    col1 col2 col3 col4

    A    1   4    612.000

    B    1   4    613.000

    C    1   4    614.000

    D    1   4    615.000

     

    Example: Using IMPORTDATA to read in a file with headers, text, and numeric data


    CODE:

    % This reads in the file 'sample_file2.txt' and creates a
    % structure D that contains both data and text data.
    % Note the IMPORTDATA command specifies a white space 
    % as the delimiter of the file, but IMPORTDATA can usually 
    % detect this on its own 

    D = importdata('sample_file2.txt','')  % 原文有误?
    D = importdata('sample_file2.txt')

    可以通过访问结构D的数据和文本域,来看结构D中的真实值,例如输入:

    data = D.data

    text = D.textdata

     

    可以用UIIMPORT读同一个文件并得到同样的结构.

     

    注意: 对于 ASCII data, 你必须检验导入向导正确的识别了列分隔符。

     

    TEXTREAD/STRREAD

     

    TEXTREAD 是一个强大的动态high level routine,设计用来读ASCII格式的文本和/或数值数据文件。STRREAD除是从字符串而不是文件读以外,类似于TEXTREAD

     

    两个函数可以用许多参数来改变其具体的工作方式,他们返回读入指定输出的数据。他们有效的提供给你一个
    “两全其美”的方法,因为他们可以用一个命令读入混合的ASCII和数值数据(high level routines的做法),并且你可以改变他们以匹配你特定的应用(如同low level routines做到的)。例子:


    CODE:
    Example 1: Using TEXTREAD to read in an entire file into a cell array


    % This command reads in the file fft.m into the cell array, file 
    file = textread('fft.m','%s','delimiter','\n','whitespace','');

     


    CODE:
    Example 2: Using STRREAD to read the words in a line

    % This command uses the cell array created in Example 1 to 
    % read in each word of line 28 in 'file' to a cell array, words

    words = strread(file{28},'%s','delimiter','')


    CODE:
    Example 3: Using TEXTREAD to read in text and numeric data from a file with headers

    % This command skips the 2 header lines at the top of the file
    % and reads in each column to the 4 specified outputs

    [c1 c2 c3 c4] = textread('sample_file2.txt','%s %s %s %s','headerlines',2) 

    CODE:
    Example 4: Using TEXTREAD to read in specific rows of text and numeric data from a file

    % This command reads in rows B and C of the file. The 'headerlines'
    % property is used to move down to the desired starting row and the 
    % read operation is performed 2 times 

    [c1 c2 c3 c4] = textread('sample_file2.txt',... 
    '%s %s %s %s',2,'headerlines',4) 

    CODE:
    Example 5: Using TEXTREAD to read in only the numeric data from a file containing text and numbers

    % This command reads in only the numeric data in the file. The
    % 'headerlines' property is used to move down to the first row 
    % of interest and the first column of text is ignored with the 
    % '*'  operator 

    [c2 c3 c4] = textread('sample_file2.txt','%*s %d %d %f','headerlines',3) 

    DLMREAD/DLMWRITE/CSVREAD

     

    DLMREAD 和 DLMWRITE函数能够读写分隔的ASCII data,而不是用low level routines。他们比low level routines容易使用,Low level routines用几行代码实现的功能可以用DLMREAD/DLMWRITE简化成一行。

     

    CSVREAD用来读分隔符是逗号的文件,是DLMREAD的特殊情况。当读空格和Tab分隔的电子数据表文件时,DLMREAD特别有用。以'sample_file.txt'为例:

     


    CODE:
    Example 1: Using DLMREAD to read in a file with headers, text, and numeric data 

    % This reads in the file 'sample_file2.txt' and creates a matrix, D,
    % with the numeric data this command specifies a white space as the
    % delimiter of the file 

    D = dlmread('sample_file.txt','') 


    CODE:
    Example 2: Using DLMREAD to extract the first 3 columns of the last 3 rows

    % This reads in the first 3 columns of the last 3 rows of
    % the data file 'sample_file.txt'into the matrix, D_partial.
    % 读文件 'sample_file.txt' 前3列后3行,到矩阵D_partial.

    D_partial = dlmread('sample_file.txt','',[2 0 4 2]) 



    CODE:
    Example 3: Using DLMWRITE to write a comma delimited file

    % This creates a file called 'partialD.txt' that consists of 
    % the first 3 columns of the last 3 rows of data where each
    % element is separated by a comma 

    dlmwrite('partialD.txt',D_partial,',') 


    注意: 保证DLMREAD and DLMWRITE指定范围的指标从0开始,而不是从1开始。

     

    WK1READ/WK1WRITE

     

    WK1READ 用来读Lotus123 电子数据表文件的数据;WK1WRITE用来写矩阵到Lotus123 电子数据表文件。

     

    XLSREAD

     

    XLSREAD用来读Excel的数值和文本数据。

     

     

    三. 具体例子分析:
    Matlab网站用两个例子非常详尽地介绍了各个命令的基本用法,实际中,面对手头上的数据,如何选用合适的命令呢?以下结合几个示例给出一些总结,大家举一反三就可以了:

    1. 纯数据(列数相同):
    源文件:



    CODE:
    0 3866.162 2198.938 141.140
    1 3741.139 2208.475 141.252
    2 3866.200 2198.936 141.156
    3 3678.048 2199.191 141.230
    4 3685.453 2213.726 141.261
    5 3728.769 2212.433 141.277
    6 3738.785 2214.381 141.256
    7 3728.759 2214.261 141.228
    8 3748.886 2214.299 141.243
    9 3748.935 2212.417 141.253
    10 3733.612 2226.653 141.236
    11 3733.583 2229.248 141.223
    12 3729.229 2229.118 141.186




    解答:对于这个txt文件,由于各行列数相同,故简单地使用load,importdata均可。


    2.字段名(中、英文字段均可)+数据:
    源文件:


    CODE:
    CH0 CH1 CH2 CH3
    0.000123 0.000325 0.000378 0.000598
    0.000986 0.000256 0.000245 0.000698


    解答:由于是记录的形式,因此各行列数必相同(缺少部分列时请自行在文件中补上 Inf 或 NaN),故直接使用 importdata 便可。

    3.注释(含有独立的数字串)+数据(列数相同):
    问题:这个文件有4列,但前6行是文字说明,4列数字是从第8行开始的.现在我想把这个文件的前2列和文字说明提出来组成一个新的dat文件

    源文件:


    CODE:
    Group 2  12.02.2006   Limei
    Samples of datas: 50000

    CH0  CH1  CH2  CH3
    0.000123  0.000325   0.000378   0.000598
    0.000986  0.000256   0.000245   0.000698


    目标文件:


    CODE:
    Group 2 12.02.2006 Limei
    Samples of datas: 50000

    CH0 CH1
    0.000123 0.000325
    0.000986 0.000256


    解答:由于注释中含有独立的数字串,且注释部分没有明显的格式, 这时候用importdata, load等高级命令直接读取会失败,用 textread, dlmwrite 等格式化命令也不太合适,因此只能使用低级命令进行读取。(当然了,可以跳过注释部分直接用高级命令读取数据,即:[a b c d] = textread(filename,'%f %f %f %f','headerlines',4); )。一个简单的、非通用的包含注释的读取方法如下:
    -------------------------------------转 ---------------------------------------------------------------------------------------

    CODE:
    clc;clear;
    fid = fopen('exp.txt', 'r');
    fid_n=fopen('ex.dat','w');
    while ~feof(fid)
        tline=fgetl(fid);
        if ~isempty(tline)
            if double(tline(1))>=48 && double(tline(1))<=57  %数值开始
                a=strread(tline);
                a(3:4)=[];
                fprintf(fid_n,'%f %f\n',a);
                clear a;
            elseif double(tline(1))==67   %字母C开始
               [b1,b2,b3,b4]=strread(tline,'%s %s %s %s');
               b=[b1{1},'  ',b2{1}];
                fprintf(fid_n,'%s\n',b);
                clear b b1 b2 b3 b4;
            else
                fprintf(fid_n,'%s\n',tline);
            end
        else
            fprintf(fid_n,'%s\n',tline);
        end
    end
    fclose(fid);
    fclose(fid_n);


    ---------------------------------------------------------------------------------

    4. 注释(不含独立的数字串)+数据(列数相同):
    源文件:

    CODE:
    你好 abc
    欢迎来到 我们
    振动论坛
    vib.hit.edu.cn
    1 11 111 1111
    2 22 222 2222
    3 33 333 3333
    4 44 444 4444
    5 55 555 5555


    解答:直接用 importdata 便可

    注:有时候注释中含有独立的数字串也可以 importdata 成功,不过得到的结果有可能不正确,建议这时候使用第3种情形的读取方式。

    5. 注释与数据混排:
    对此当然只能自己编程,举例:

    源文件

    CODE:
    1 11 111 1111
    你好
    2 22 222 2222
    欢迎来到
    3 33 333 3333
    振动论坛
    4 44 444 4444
    vib.hit.edu.cn
    5 55 555 5555


    解答:
    --------------------------------------------转--------------------------------------


    CODE:

    function [data]=distilldata(infile)
    %功能说明:
    %将保存数据的原始文件中的数值数据读入到一个data变量中
    %使用说明:
    % infile——原始数据文件名;
    % data=数据变量

    tmpfile='tmp2.mat';

    fidin=fopen(infile,'r'); % 打开原始数据文件(.list)

    fidtmp=fopen(tmpfile,'w'); % 创建保存数据文件(不含说明文字)

    while ~feof(fidin) % 判断是否为文件末尾
      tline=fgetl(fidin); % 从文件读入一行文本(不含回车键)
      if ~isempty(tline) % 判断是否空行
        [m,n]=size(tline);
        flag=1;
        for i=1:n %判断一行中有没有字符(+-.Ee和空格键除外)
          if ~(tline(i)==' '|tline(i)=='-'|tline(i)=='.'|tline(i)=='E'...
              |tline(i)=='e'|tline(i)=='+'...
              |(double(tline(i))>=48&&double(tline(i))<=57))
            flag=0;
            break;
          end
        end
        if flag==1 % 如果是数字行,把此行数据写入文件
          fprintf(fidtmp,'%s\n',tline);
        end
      end
    end

    fclose(fidin);

    fclose(fidtmp);

    data=textread(tmpfile);

    delete(tmpfile);



    ---------------------------------------------------------------------------------------------------------
    另外,如果要求不高,也可以使用 textread 函数跳过注释部分进行读取,不过前提是需要事先知道文件内容的结构(即哪行是数据、哪行是注释)

    6.各列数据的分离:
    源文件:


    CODE:
               0 +  47038.7   1.05  09:26:07  C
               2 +  46477.7   1.03  09:28:38  C  
               4 +  44865.7   1.04  09:28:48  C  
               6 +  41786.4   1.03  09:28:56  C  
               8 +  39896.0   0.97  09:29:03  C  
              10 +  37518.4   0.93  09:29:15  C  
              12 +  35858.5   0.92  09:29:30  C  
              14 +  46105.0   1.03  09:30:21  C  
              16 +  46168.6   6.89  09:30:30  C  
              18 +  48672.3   4.33  09:30:40  C  
              20 +  49565.7   0.49  09:30:48  C  
              22 +  49580.7   0.53  09:30:55  C  
              24 +  49602.3   0.84  09:31:03  C  
              26 +  49582.5   1.51  09:31:11  C  
              28 +  49577.0   1.39  09:31:19  C  
              30 +  49589.3   0.61  09:31:27  C  
              32 +  49578.3   1.06  09:31:29  C  
              34 +  49512.5   1.77  09:31:38  C 




    解答:直接用 [a,b,c,d,e,f]=textread(yourfilename,'%d %c %f %f %s %c'); 便可


    四. 注意事项:


    1. 请在 matlab 中保持当前路径在该数据文件对应的目录下进行存取,否则,存取时请给出该数据文件的具体路径。


     

    2. 存取时,请给出该数据文件的全称(包括后缀名,读取mat文件时可省略)


     

    3. load data.txt和A=load(‘data.txt’)的区别请参阅精华贴:


     

    4. 请根据读写需要来打开文件,即根据你的需要来指定 fopen 的 permission 属性为读或写。如果只用 a 进行写入,就不能用 fread 读取。此时应该写完关闭文件,然后用 r 打开读取,或者直接用 a+ 进行同时读写操作。否则,会产生莫名其妙的问题!以下代码是一个错误的例子:



    CODE:

    filename='e.dat';
    fid=fopen(filename,'a');
    if fid<0
        error('fopen error');
    end
    s=[1 2 3 4;5 6 7 8];
    fwrite(fid,s,'float32')
    [dd ll]=fread(fid,inf,'float32');%把t中的数据全部读出,即s矩阵。
    fclose(fid);





    此时得到的dd, ll 是错误且无意义的!


    五. 其他相关问题:

    1. 连续读取多个文件的数据,并存放在一个矩阵中:
    (1) 首先是如何读取文件名:
    方法一:
    filename=dir(‘*.jpg’);
    那么第i个文件的文件名就可以表示为
    filename(i).name
    文件数量为:length(filename)

    方法二:
    先在Windows的 MSDOS(命令行)中使用以下命令生成一个list.txt文件:


    dir path\folder /on /b /s > path\list.txt


     

    举例:dir d:\test /on /b /s > d:\list.txt


     

    然后在 matlab 中使用:


     

    filename = textread(sFileFullName,'%s');


     

    把所有文件名读取到list细胞矩阵中,最后对filename{i}便可得到各文件名。


    (2) 然后是读取文件名的数据并存储:
    假设每个文件对应的数据是m*n的,则:

    CODE:
    k = length(filename);

    Data = zeros(m,n,k);

    for ii = 1:k
      Data(:,:,ii) = yourreadstyle(filename{ii}); %yourreadstyle是对应的文件读取方式的函数
    end




    2. 连续读取多个文件的数据,并存放在多个矩阵(以文件名命名)中:
    假设每个文件对应的数据是m*n的,则以上述第二种文件名读取方法为例:

    CODE:
    k = length(filename);
    for ii = 1:k
      D = yourreadstyle(filename{ii});
    eval([‘Data_’, num2str(ii), ‘ = D;’]);
    end



    3. 文件名命名问题:
    文件名为 abc00001,abc00002,... abc00009,abc00010,... abc00099,abc00100,...abc00879.  准备把这些文件名给放到一个数组里面去。

    解答:

    CODE:
    a=cell(879,1);
    for k=1:879
         a{k} = sprintf('%.5d',k);
    end


    4. 上述各种文件格式、类型自动识别问题:可以利用正则表达式来处理,使之通用性较强。例如使用以下代码可以自动处理上面提到了例1到例5各种情形,不过由于存在自动判断,对某些例子(如例1)效率自然要低一点,而对于另外的例子(如例3、例5)效率估计要高一点(少用了一个循环)。


    CODE:

    function [data]=distilldata_eight(infile)
    %功能说明:
    %将保存数据的原始文件中的数值数据读入到一个data变量中(自动判断数据行)
    %使用说明:
    % infile——原始数据文件名;
    % data=数据变量

    tmpfile='tmp2.mat';

    fidin=fopen(infile,'r'); % 打开原始数据文件(.list)

    fidtmp=fopen(tmpfile,'w'); % 创建保存数据文件(不含说明文字)

    while ~feof(fidin) % 判断是否为文件末尾
      tline=fgetl(fidin); % 从文件读入一行文本(不含回车键)
      if ~isempty(tline) % 判断是否空行
        str = '[^0-9 | \. | \- | \s | e | E]'; %正则表达式为:该行中是否包含除 - . E e 数字 和 空白字符 外的其他字符
        start = regexp(tline,str, 'once');
        if isempty(start)
          fprintf(fidtmp,'%s\n',tline);
        end
      end
    end

    fclose(fidin);

    fclose(fidtmp);

    data=textread(tmpfile);

    delete(tmpfile)



    5. 大量数据的读取问题:
    可以考虑使用循环分批读取(特别是在各数据是独立的时候),或者使用稀疏矩阵来实现。另外,也可参考《深入浅出MATLAB 7_X混合编程》一书第一章

    6. 读取整个txt文件的内容(获得文件中的所有字符):

    CODE:

    f = fopen('yourfilename.txt','rt'); % t 属性根据需要可省略
    x = fread(f,'*char');
    fclose(f);


    7. 把维数不同的矩阵及其变量名保存到一个 txt 文件中,例如 a1 = 123; a2 = [1 2 3;4 5 6] ,希望得到的 txt 文件如下:


    QUOTE:

    a1:
    123
    a2:
    1 2 3
    4 5 6





    如果写入的时候简单一点,则可以采用以下方式,不过读取的时候比较麻烦:

    CODE:

    a1=123;
    a2=[1 2 3;4 5 6];
    fid = fopen('myfile.txt', 'wt');
    for i=1:2
        fprintf(fid, '%s: \n %s\n', ['a',int2str(i)], mat2str(eval(['a',int2str(i)])));
    end
    fclose(fid);


    相反,如果写入的时候复杂一点,则读取的时候会简单一点:

    CODE:

    a1=123;
    a2=[1 2 3;4 5 6];
    fid = fopen('myfile.txt', 'wt');
    for i=1:2
        fprintf(fid, '%s: \n', ['a',int2str(i)]); 
        b = eval(['a',int2str(i)]);
        fprintf(fid, [repmat('%d ', 1, size(b,2)), '\n'], b');
    end


             

    展开全文
  • neo4j批量数据导入

    热门讨论 2012-03-01 09:59:56
    neo4j基于嵌入式的测试数据生成与导入源代码 数据生成代码在源代码文件夹src/test/java中
  • 100万条数据导入SQL数据库仅用4秒

    热门讨论 2013-01-29 17:18:22
    100万条数据导入SQL数据库仅用4秒,100万条数据导入SQL数据库仅用4秒
  • Neo4j数据导入

    千次阅读 2019-10-21 16:05:13
    常见的Neo4j数据导入方式如下: 1.通过Cypher中的create语句。 2.Cypher中的load csv方式。 3.官方提供的neo4j-import工具。 4.官方提供的Java API BatchInserter。 5.batch-import 工具。 6.neo4j-apocload....

    常见的Neo4j数据导入方式如下:
    1.通过Cypher中的create语句。
    2.Cypher中的load csv方式。
    3.官方提供的neo4j-import工具。
    4.官方提供的Java API BatchInserter。
    5.batch-import 工具。
    6.neo4j-apocload.csv +apoc.load.relationship。
    其各自使用对比如下图(网上):
    在这里插入图片描述
    现就LOAD CSV及neo4j-import工具进行说明。

    **

    LOAD CSV

    **

    LOAD CSV可支持读取本地文件及远程文件,语法分别为:

    本地:LOAD CSV FROM "file:///data.csv"
    远程:LOAD CSV FROM 'https://neo4j.com/docs/cypher-manual/3.5/csv/artists.csv'
    

    使用参数:
    1.using periodic commit n : 每n条自动提交一次
    2.with headers :文件第一行作为参数名,加上该参数才能使用line.name这种方式
    3.with line :为每行数据重命名

    Neo4j数据导入中最关键的是csv文件数据的格式,要求如下,
    在这里插入图片描述
    即字符编码为UTF-8,行分隔符为\n,默认列分隔符为逗号,但可加FIELDTERMINATOR参数指定分隔符,当dbms.import.csv.legacy_quote_escaping参数为true时,默认转义字符为\。

    示例

    节点

    csv文件为:
    在这里插入图片描述
    导入:

    load csv from 'file:///node.csv' As line create (a:qianfu{name:line[1],post:line[2]});
    

    得到
    在这里插入图片描述
    这里若将csv文件改为:
    在这里插入图片描述
    则语句可为

    load csv with headers from 'file:///node.csv' As line create (a:qianfu{name:line.name,post:line.post});
    

    为避免重复插入,可将create关键字换为merge。
    还有个值得注意的点是csv文件目录的问题,笔者第一次导入时就碰到了这个坑,报Couldn’t load the external resource at: file…错误,仔细一看报错信息,是路径的问题。
    在这里插入图片描述
    原来load csv的时候会去/usr/local/neo4j-community-3.5.11/import目录下找相应文件,所以写相对路径就ok。
    若想使用绝对路径或修改默认路径,可在neo4j.conf配置文件中,找到 dbms.directories.import=import,将该行注释掉或者改成自己习惯的路径。

    关系

    csv文件为:
    在这里插入图片描述
    导入,

    load csv with headers from "file:///relation.csv" As line match  (from:qianfu{name:line.name1}),(to:qianfu{name:line.name2})  
    merge (from) -[r:rel{pro:line.rela}]-> (to);
    

    在这里插入图片描述

    **

    neo4j-import

    **
    neo4j-import同neo4j-admin import (官方推荐),使用前提是关闭neo4j服务,原有库不存在。
    语法:

    neo4j-admin import [--mode=csv] [--database=<name>]
                              [--report-file=<filename>]
                              [--nodes[:Label1:Label2]=<"file1,file2,...">]
                              [--relationships[:RELATIONSHIP_TYPE]=<"file1,file2,...">]
                              [--id-type=<STRING|INTEGER|ACTUAL>]
                              [--input-encoding=<character-set>]
                              [--ignore-extra-columns[=<true|false>]]
                              [--ignore-duplicate-nodes[=<true|false>]]
                              [--ignore-missing-nodes[=<true|false>]]
                              [--multiline-fields[=<true|false>]]
                              [--delimiter=<delimiter-character>]
                              [--array-delimiter=<array-delimiter-character>]
                              [--quote=<quotation-character>]
                              [--max-memory=<max-memory-that-importer-can-use>]
                              [--f=<File containing all arguments to this import>]
                              [--high-io=<true/false>]
    

    主要选项说明:
    mode:默认为csv。
    database:默认为graph.db。
    report-file:为文件导入记录(导入时会生成import.report文件,记录未导入成功的条目)。
    nodes:待导入的节点csv文件,可直接使用nodes:Label的方式显示指定标签。
    relationships:待导入的关系csv文件,relationships:RELATIONSHIP_TYPE指定关系。
    id-type:每个节点需有唯一标识,id-type指定唯一标识类型,默认为string。
    input-encoding:导入数据的字符集,默认UTF-8。
    delimiter:csv文件数据间分隔符,默认逗号。
    ignore-extra-columns:导入时忽略未指定的列。默认false。
    ignore-duplicate-nodes:导入时节点忽略重复节点。默认false。
    ignore-missing-nodes:导入时忽略关系里缺失的节点。默认false。

    示例

    csv文件分别为:

    customers.csv

    customerId:ID(Customer),name
    23,Delicatessen Inc
    42,Delicous Bakery
    

    products.csv

    productId:ID(Product),name,price,:LABEL
    11,Chocolate,10,Product;Food
    

    orders_header.csv

    orderId:ID(Order),date,total,customerId:IGNORE
    

    orders1.csv

    1041,2015-05-10,130,23
    

    orders2.csv

    1042,2015-05-12,20,42
    

    order_details.csv

    :START_ID(Order),amount,price,:END_ID(Product)
    1041,13,130,11
    1042,2,20,11
    

    customer_orders_header.csv

    :END_ID(Order),date:IGNORE,total:IGNORE,:START_ID(Customer)
    

    导入:

    关闭neo4j: ./neo4j stop
    删除原有graph.db库: rm -rf /usr/local/neo4j-community-3.5.11/data/databases/graph.db
    导入:./neo4j-admin import --id-type=STRING --nodes:Customer=customers.csv --nodes=products.csv --nodes="orders_header.csv,orders1.csv,orders2.csv" --relationships:CONTAINS="order_details.csv" --relationships:ORDERED="customer_orders_header.csv,orders1.csv,orders2.csv"
    

    出现下图所示即导入成功。
    在这里插入图片描述
    启动neo4j。
    在这里插入图片描述
    导入过程中出现了 Expected ‘–nodes’ to have at least 1 valid item, but had 0 []报错信息,意思是找不到有效的节点,后检查为csv文件路径及文件名称问题,值得注意。

    csv文件格式说明:
    customers.csv文件头 customerId:ID(Customer),name 指定customerId属性为唯一标识,指定id-group名称为Customer(为避免多个节点有重复的id,所以需指定,若只导入单个实体可不指定),且该文件未指定Label,故在导入语句中显示指定Label --nodes:Customer=customers.csv。
    products.csv文件 productId:ID(Product),name,price,:LABEL 最后一列为标签,该文件内容指定Chocolate为Product;Food两标签,分号隔开。
    orders_header.csv文件中最后一列加:IGNORE表示导入忽略该列。
    关系csv文件order_details.csv中文件头*:START_ID(Order),amount,price,:END_ID(Product)* 中 :START_ID(Order)表示关系起点,为Order组的id,:END_ID表示关系终点,为Product组id。与节点类似,也可在文件中最后一列加:TYPE指定关系类型。

    总结

    用户可根据所需选择数据导入方式,就上述两种方式而言,LOAD CSV更适合数据量较小,且不能关闭neo4j的情况,通常用于增量更新。neo4j-admin import方式更适用于大量数据情况,且必须关闭neo4j,通常适用于数据初始化。但无论哪种方式,csv文件数据格式处理都是最重要的一环。

    文章内容参考:
    https://neo4j.com/developer/guide-import-csv/#_super_fast_batch_importer_for_huge_datasets

    展开全文
  • 如何把数据导入数据库

    万次阅读 2019-05-08 20:55:42
    数据库是我们经常用到的软件,但是如何把自己想要的数据导入到数据库之中呢 下面我来给大家讲解一下。 首先我做一个案例: 先给大家看一下我将要导入的是哪一个数据: 就是这两个了,导入数据库有2个难点 1丶你得...

    开发工具与关键技术:SQL
    数据库是我们经常用到的软件,但是如何把自己想要的数据导入到数据库之中呢 下面我来给大家讲解一下。
    首先我做一个案例:
    先给大家看一下我将要导入的是哪一个数据:
    在这里插入图片描述
    就是这两个了,导入数据库有2个难点
    1丶你得记住你要把文件放入的地方(当然这只是方法之一)
    2丶切记别玩了导入之后的附加
    接下来给你们看一下导入成功之后的图片:
    在这里插入图片描述

    这就是把数据导入数据库成功之后的样式,可以看到点击登录数据库之后点击数据库之后的情景,在点击之后会出现想导入数据的名称右键之后会出现自己想编辑的东西 这样就算是完成了
    现在我就来教大家如何导入。
    首先先把自己想导入的数据先复制一份
    再找到自己电脑之中的C盘,找到之后 找到一个文件名叫 Program Files (大家不用担心命名不同的问题 因为在C盘中很多文件名是固定的,只有个别能进行更该),找到这个文件之后
    点击进去 有一个 文件名叫做 Microsoft SQL Server 这个需要注意 因为有很多和这个文件名字差不多的文件名 需要注意查看 点击完了这个文件夹之后 : 如图所示
    在这里插入图片描述
    是文件夹最后的一个 里面有 MSA 和 MSR MSS 开头的三个 选择最后一个 MSS开头的 文件夹 点进去之后只有一个文件夹 MSSQL 右键打开 会出出现一个 DATA 的文件 然后把自己要导入的数据直接粘贴到文件夹之中
    粘贴完成之后打开数据库 之后你会发现其实 数据并没有传送到数据库之中 其实你只是把数据放到了数据库的文件夹之中并没有附加上去。
    在登录数据库完成之后右击数据库会有一个附加的字样,
    如图所示:
    在这里插入图片描述
    在点击完成之后 里面会出现一个添加的字样
    如下图所示:
    在这里插入图片描述
    直接点击添加它会弹出你所有在数据库之中的名字在这之中
    如图所示:
    在这里插入图片描述
    接下来把自己想要要导入的数据 用鼠标选中 点击确定便可以导入成功了,若是在图中没有你想要导入的数据 那么 用鼠标点击我用红色矩形框住的位置 点击一下 (因为有一些路径名字很长在我所用红色矩形框住的地方显示不了全部的路径) 在点击之后用按右键便可以把路径给看到了,然后找到路径 把数据粘贴到里面 按照上面的内容附加 之后便可以让数据出现 在数据库之中了。

    展开全文
  • Doris 数据导入-Broker Load

    千次阅读 2020-07-09 23:57:30
    目录 Doris导入方式及链接 Doris 目前支持以下4种导入方式: Doris 数据导入-Broker Load 语法: 说明: 1. load_label 2. data_desc 3. broker_name 4. broker_properties 4. opt_properties 数据导入样例 1. 从 ...

    目录

    Doris导入方式及链接

    Doris 目前支持以下4种导入方式:

    Doris 数据导入-Broker Load

    语法:

    说明:

    1. load_label

    2. data_desc

    3. broker_name

    4. broker_properties

    4. opt_properties

    数据导入样例

    1. 从 HDFS 导入一批数据,数据格式为CSV,同时使用 kerberos 认证方式,同时配置 namenode HA

    2.从 HDFS 导入一批数据,指定超时时间和过滤比例。使用铭文 my_hdfs_broker 的 broker。简单认证。

    3. 从 HDFS 导入一批数据,指定hive的默认分隔符\x01,并使用通配符*指定目录下的所有文件。

    4.从 HDFS 导入一批“负”数据。同时使用 kerberos 认证方式。提供 keytab 文件路径。

    5.从 HDFS 导入一批数据,指定分区。同时使用 kerberos 认证方式。提供 base64 编码后的 keytab 文件内容

     


    Doris导入方式及链接

    Doris 目前支持以下4种导入方式:

    1.  Hadoop Load:基于 MR 进行 ETL 的导入。(仅适用于百度内部环境)
    2.  Broker Load:使用 broker 进行进行数据导入。(链接:Doris 数据导入-Broker Load
    3.  Mini Load:通过 http 协议上传文件进行批量数据导入。(链接:Doris 数据导入-Mini Load
    4.  Stream Load:通过 http 协议进行流式数据导入。(链接:Doris 数据导入- Stream Load

    Doris 数据导入-Broker Load

    使用Mysql Client 运行 help broker load 做的笔记。

    Broker load 通过随 Palo 集群一同部署的 broker 进行,访问对应数据源的数据,进行数据导入。

    不同的数据源需要部署不同的 broker 进程。可以通过 show broker 命令查看已经部署的 broker。

    语法:

    LOAD LABEL load_label
    (
    data_desc1[, data_desc2, ...]
    )
    WITH BROKER broker_name
    [broker_properties]
    [opt_properties];

    说明:

    1. load_label

    当前导入批次的标签,在一个 database 内唯一。

    语法:

    [database_name.]your_label

    2. data_desc

    用于描述一批导入数据。

    语法:

    DATA INFILE
    (
    "file_path1"[, file_path2, ...]
    )
    [NEGATIVE]
    INTO TABLE `table_name`
    [PARTITION (p1, p2)]
    [COLUMNS TERMINATED BY "column_separator"]
    [(column_list)]
    [SET (k1 = func(k2))]

    说明:
    file_path:

                文件路径,可以指定到一个文件,也可以用 * 通配符指定某个目录下的所有文件。通配符必须匹配到文件,而不能是目录。

    PARTITION:

                如果指定此参数,则只会导入指定的分区,导入分区以外的数据会被过滤掉。
                如果不指定,默认导入table的所有分区。

    NEGATIVE
                如果指定此参数,则相当于导入一批“负”数据。用于抵消之前导入的同一批数据。
                该参数仅适用于存在 value 列,并且 value 列的聚合类型仅为 SUM 的情况。

    column_separator

                用于指定导入文件中的列分隔符。默认为 \t
                如果是不可见字符,则需要加\\x作为前缀,使用十六进制来表示分隔符。
                如hive文件的分隔符\x01,指定为"\\x01"

    column_list

                用于指定导入文件中的列和 table 中的列的对应关系。
                当需要跳过导入文件中的某一列时,将该列指定为 table 中不存在的列名即可。
                语法:
                (col_name1, col_name2, ...)

    SET:

       如果指定此参数,可以将源文件某一列按照函数进行转化,然后将转化后的结果导入到table中。
       目前支持的函数有:

    •  strftime(fmt, column) 日期转换函数
      • fmt: 日期格式,形如%Y%m%d%H%M%S (年月日时分秒)
      • column: column_list中的列,即输入文件中的列。存储内容应为数字型的时间戳。
      • 如果没有column_list,则按照palo表的列顺序默认输入文件的列。
    • time_format(output_fmt, input_fmt, column) 日期格式转化
      • output_fmt: 转化后的日期格式,形如%Y%m%d%H%M%S (年月日时分秒)
      • input_fmt: 转化前column列的日期格式,形如%Y%m%d%H%M%S (年月日时分秒)
      • column: column_list中的列,即输入文件中的列。存储内容应为input_fmt格式的日期字符串。
      • 如果没有column_list,则按照palo表的列顺序默认输入文件的列。
    • alignment_timestamp(precision, column) 将时间戳对齐到指定精度
      • precision: year|month|day|hour
      • column: column_list中的列,即输入文件中的列。存储内容应为数字型的时间戳。
      • 如果没有column_list,则按照palo表的列顺序默认输入文件的列。
      • 注意:对齐精度为year、month的时候,只支持20050101~20191231范围内的时间戳。
    • default_value(value) 设置某一列导入的默认值
    •   不指定则使用建表时列的默认值
      • md5sum(column1, column2, ...) 将指定的导入列的值求md5sum,返回32位16进制字符串
      • replace_value(old_value[, new_value]) 将导入文件中指定的old_value替换为new_value
      • new_value如不指定则使用建表时列的默认值
      • hll_hash(column) 用于将表或数据里面的某一列转化成HLL列的数据结构
      • now() 设置某一列导入的数据为导入执行的时间点。该列必须为 DATE/DATETIME 类型。

    3. broker_name

            所使用的 broker 名称,可以通过 show broker 命令查看。不同的数据源需使用对应的 broker。

    4. broker_properties

    用于提供通过 broker 访问数据源的信息。不同的 broker,以及不同的访问方式,需要提供的信息不同。

    Apache HDFS:

    社区版本的 hdfs,支持简单认证、kerberos 认证。以及支持 HA 配置。

    1)简单认证:

    • hadoop.security.authentication = simple (默认)
    • username:hdfs 用户名
    • password:hdfs 密码

    2)kerberos 认证:

    • hadoop.security.authentication = kerberos
    • kerberos_principal:指定 kerberos 的 principal
    • kerberos_keytab:指定 kerberos 的 keytab 文件路径。该文件必须为 broker 进程所在服务器上的文件。
    • kerberos_keytab_content:指定 kerberos 中 keytab 文件内容经过 base64 编码之后的内容。这个跟 kerberos_keytab 配置二选一就可以。

    3)namenode HA:
    通过配置 namenode HA,可以在 namenode 切换时,自动识别到新的 namenode

    • dfs.nameservices: 指定 hdfs 服务的名字,自定义,如:"dfs.nameservices" = "my_ha"
    • dfs.ha.namenodes.xxx:自定义 namenode 的名字,多个名字以逗号分隔。其中 xxx 为 dfs.nameservices 中自定义的名字,如 "dfs.ha.namenodes.my_ha" = "my_nn"
    • dfs.namenode.rpc-address.xxx.nn:指定 namenode 的rpc地址信息。其中 nn 表示 dfs.ha.namenodes.xxx 中配置的 namenode 的名字,如:"dfs.namenode.rpc-address.my_ha.my_nn" = "host:port"
    • dfs.client.failover.proxy.provider:指定 client 连接 namenode 的 provider,默认为:org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

    4. opt_properties

    用于指定一些特殊参数。

    语法:

    [PROPERTIES ("key"="value", ...)]

    可以指定如下参数:

    • timeout:指定导入操作的超时时间。默认超时为4小时。单位秒。
    • max_filter_ratio:最大容忍可过滤(数据不规范等原因)的数据比例。默认零容忍。
    • exec_mem_limit:设置导入使用的内存上限。默认为2G,单位字节。这里是指单个 BE 节点的内存上限。一个导入可能分布于多个BE。我们假设 1GB 数据在单个节点处理需要最大5GB内存。那么假设1GB文件分布在2个节点处理,那么理论上每个节点需要内存为2.5GB。则该参数可以设置为 2684354560,即2.5GB

    数据导入样例

    导入数据格式样例:

    整型类(TINYINT/SMALLINT/INT/BIGINT/LARGEINT):1, 1000, 1234
    浮点类(FLOAT/DOUBLE/DECIMAL):1.1, 0.23, .356
    日期类(DATE/DATETIME):2017-10-03, 2017-06-13 12:34:03。(注:如果是其他日期格式,可以在导入命令中,使用 strftime 或者 time_format 函数进行转换)
    字符串类(CHAR/VARCHAR):"I am a student", "a"
    NULL值:\N

    1. 从 HDFS 导入一批数据,数据格式为CSV,同时使用 kerberos 认证方式,同时配置 namenode HA

    设置最大容忍可过滤(数据不规范等原因)的数据比例。

    LOAD LABEL example_db.label5
    (
    DATA INFILE("hdfs://hdfs_host:hdfs_port/user/palo/data/input/file_*.csv")
    INTO TABLE `my_table`
    FORMAT AS "csv"
    (k1, k3, k2, v1, v2)
    )
    WITH BROKER my_hdfs_broker
    (
    "hadoop.security.authentication"="kerberos",
    "kerberos_principal"="doris@YOUR.COM",
    "kerberos_keytab_content"="BQIAAABEAAEACUJBSURVLkNPTQAEcGFsbw",
    "dfs.nameservices" = "my_ha",
    "dfs.ha.namenodes.my_ha" = "my_namenode1, my_namenode2",
    "dfs.namenode.rpc-address.my_ha.my_namenode1" = "nn1_host:rpc_port",
    "dfs.namenode.rpc-address.my_ha.my_namenode2" = "nn2_host:rpc_port",
    "dfs.client.failover.proxy.provider" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
    )
    PROPERTIES
    (
        "max_filter_ratio"="0.00002"
    
    );

    2.从 HDFS 导入一批数据,指定超时时间和过滤比例。使用铭文 my_hdfs_broker 的 broker。简单认证。

    LOAD LABEL example_db.label1
    (
    DATA INFILE("hdfs://hdfs_host:hdfs_port/user/palo/data/input/file")
    INTO TABLE `my_table`
    )
    WITH BROKER my_hdfs_broker
    (
    "username" = "hdfs_user",
    "password" = "hdfs_passwd"
    )
    PROPERTIES
    (
    "timeout" = "3600",
    "max_filter_ratio" = "0.1"
    );

    其中 hdfs_host 为 namenode 的 host,hdfs_port 为 fs.defaultFS 端口(默认9000)

    3. 从 HDFS 导入一批数据,指定hive的默认分隔符\x01,并使用通配符*指定目录下的所有文件。

    使用简单认证,同时配置 namenode HA。

    LOAD LABEL example_db.label3
    (
    DATA INFILE("hdfs://hdfs_host:hdfs_port/user/palo/data/input/*")
    INTO TABLE `my_table`
    COLUMNS TERMINATED BY "\\x01"
    )
    WITH BROKER my_hdfs_broker
    (
    "username" = "hdfs_user",
    "password" = "hdfs_passwd",
    "dfs.nameservices" = "my_ha",
    "dfs.ha.namenodes.my_ha" = "my_namenode1, my_namenode2",
    "dfs.namenode.rpc-address.my_ha.my_namenode1" = "nn1_host:rpc_port",
    "dfs.namenode.rpc-address.my_ha.my_namenode2" = "nn2_host:rpc_port",
    "dfs.client.failover.proxy.provider" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
    )

    4.从 HDFS 导入一批“负”数据。同时使用 kerberos 认证方式。提供 keytab 文件路径。

    LOAD LABEL example_db.label4
    (
    DATA INFILE("hdfs://hdfs_host:hdfs_port/user/palo/data/input/old_file)
    NEGATIVE
    INTO TABLE `my_table`
    COLUMNS TERMINATED BY "\t"
    )
    WITH BROKER my_hdfs_broker
    (
    "hadoop.security.authentication" = "kerberos",
    "kerberos_principal"="doris@YOUR.COM",
    "kerberos_keytab"="/home/palo/palo.keytab"
    )

    5.从 HDFS 导入一批数据,指定分区。同时使用 kerberos 认证方式。提供 base64 编码后的 keytab 文件内容

    LOAD LABEL example_db.label5
    (
    DATA INFILE("hdfs://hdfs_host:hdfs_port/user/palo/data/input/file")
    INTO TABLE `my_table`
    PARTITION (p1, p2)
    COLUMNS TERMINATED BY ","
    (k1, k3, k2, v1, v2)
    )
    WITH BROKER my_hdfs_broker
    (
    "hadoop.security.authentication"="kerberos",
    "kerberos_principal"="doris@YOUR.COM",
    "kerberos_keytab_content"="BQIAAABEAAEACUJBSURVLkNPTQAEcGFsbw"
    )

     

    展开全文
  • 上百万条数据导入MySQL的方法汇总(一)

    千次阅读 多人点赞 2020-04-23 20:37:23
    昨晚遇到一个把百万条数据导入MySQL的问题,翻遍整个网络,最后找到了如下几种方法,这里先做个汇总! 直接导入 ------此方法极不推荐!费时费力还损电脑! 用Load data infile和临时表导入;------ 推荐 使用存储...
  • Impala数据导入方式

    千次阅读 2019-12-10 14:15:31
    ​​​​​一、load data 首先创建一个表: create table user(id int ,name string,age int ) row format ...准备数据user.txt并上传到hdfs的 /user/impala路径下去 加载数据 load data inpath '/user...
  • sas数据导入

    千次阅读 2020-06-20 23:59:06
    SAS数据导入方式sas数据的导入1、直接数据输入2、sas内部数据.sas7dat导入3、xls等格式数据导入为内部数据 sas数据的导入 1、直接数据输入 sas中数据可以直接通过面板利用cards命令进行输入: // input weight data ...
  • hive数据导入到hbase

    千次阅读 2020-09-27 11:44:15
    ​ hbase中建表,然后hive中建外部表,这样当hive中写入数据后,hbase中的表也会同时更新 创建hbase表 create 'classes','user' --表名是class,有一个列族user 查看表结构 describe 'classes' 加入两行数据 put '...
  • gephi-数据导入

    千次阅读 2020-05-22 21:53:11
    数据 excel中输入如下: 当以下面的格式存储时, 会出现 两种解决方案 1,excel文件另存为csv(逗号分隔),再导入gephi 2,将另存为的csv文件以记事本格式打开,再“文件”——“另存为”,“编码”中选择“UTF...
  • 数据库数据导入Elasticsearch案例分享

    千次阅读 2018-06-19 16:21:00
    基于bboss持久层和bboss elasticsearch客户端实现数据库数据导入es案例分享(支持各种数据库和各种es版本) 通过bboss,可以非常方便地将数据库表数据导入到es中: 支持逐条数据导入 批量数据导入 ...
  • 如何将Excel中的数据导入MATLAB并在MATLAB中画出图像(自己总结的,有详细图解)
  • Sqoop支持两种方式的全量数据导入和增量数据导入,同时可以指定数据是否以并发形式导入。下面依次来看: 全量数据导入 就像名字起的那样,全量数据导入就是一次性将所有需要导入的数据,从关系型数据库一次性...
  • python爬虫——爬取数据导入excel表

    千次阅读 多人点赞 2020-07-25 19:31:04
    1、导入第三方库 requests库、re、html、xlwt from urllib import request import requests import re import html import xlwt
  • SQLServer 2012 数据导入与数据导出

    千次阅读 2019-04-15 12:59:03
    文章目录导入数据使用SSMS工具导入数据导出数据使用SSMS工具导出数据 导入数据 数据信息: 使用SSMS工具导入数据 展开“数据库”,右击需要导入数据的数据库,选择“任务”,在任务中选择“导入数据”。 ...
  • ElasticSearch数据导入

    万次阅读 2018-03-14 11:36:30
    本文将介绍通过logstash收集.csv文件,oracle数据库数据导入到ElasticSearch中,以及SuperMap iClient for JavaScript 9D与ElasticSearch的结合使用。 安装logstash 1、官网下载logstash-6.1.2.tar.gz,...
  • mysql数据导入失败解决办法

    千次阅读 2019-12-05 14:43:49
    前几天一个把自己的一个项目搬迁,数据库600M了,用Navicat导入一直是有错误,用PHPAdmain导入就更别想了。...好了按照以下方法解决mysql数据过大不能导入 1.找到mysql文件 在命令行里输入cmd,回...
  • 提供中国石化,中国银行及中金黄金股票历史数据 数据导入 新建 或从外部导入 数据操作 直方图
  • Solr中的数据导入

    千次阅读 2018-08-24 08:18:32
    Solr中的数据导入 创建数据库 Solr可以直接将数据库中的数据导入Solr中,在导入数据前,需要首先创建数据库,并插入相关数据。  1.1.创建数据库 创建表并插入数据 进行配置 在Solr服务器程序中添加jar包...
  • 如何把excel表格的数据导入到MATLAB中去

    千次阅读 多人点赞 2021-01-17 23:01:00
    初学数学建模,很崩溃,好多不会。模拟题要求处理几万的数据,吓死人…那个时候excel与MATLAB都不会用。之前我一直认为excel只是一个表格????,真的没想到excel的用法有很多,而且超级简便。 之前做了个 ...
  • python之pandas数据导入

    万次阅读 多人点赞 2018-07-19 14:34:27
    pandas数据导入 学习python最好的学习方法就是带着自己的工作需求或者目标去学习。pandas库不多介绍,先放一些最基础的内容帮助学习。 pandas导入/导出数据是非常方便的,可以快速的导入现在常见的excel、csv、txt...
  • 如何把Excel的数据导入python?

    万次阅读 多人点赞 2020-09-06 12:14:45
    Python数据分析——excl导入数据的简单方法(xlrd) 本文的初衷是发现网上很多Excel导入Python都没有结合具体Excel文档进行讲解,所以这篇文档将会呈现一个简单快速的Excel+Python的入门方法。 开发环境 ...
  • Igor数据导入与绘图

    千次阅读 2019-08-09 20:37:59
    Igor数据导入 Igor支持多种数据格式 常见的数据格式有:简单文本格式(内容可以是数字、字母)、二进制文件、影像(TIFF, PNG, JPG …)、Excel文件等. 可以在Main menu -> Data -> Load Waves 查看所有支持的...
  • 使用python将数据导入mysql的三种方法

    千次阅读 2020-06-09 21:55:08
    最近经常要将数据导入到mysql中,我写过一次后也是复制粘贴前面写过的,但老是经常忘记写过的放哪去了,索性整理下直接写到博客里面来 方法: 1、使用 pymysql 库, 数据一条条插入,或者用Django ORM里面的...
  • layui数据表格的数据导入

    千次阅读 2019-04-27 11:14:34
    毕业设计的后台的PC端管理界面是用layui框架搭的,在其中的内联框架中包含了一些数据表格,开始完全不懂该怎么导入数据,后来问了老师,老师跟我讲了才知道。我的毕业设计是用php做的后台,下面就是导入的方式: ...
  • GBase之数据导入

    千次阅读 2020-04-08 08:38:34
    load data infile '[远程数据文件]' into table [schema.表名] data format 3 fields terminated by '[字段分隔符]'; 示例: -- 将192.168.0.1机器(假设该机器开启了sftp,用户名/密码为root/root)上的data.txt文件...
  • Excel数据导入sql临时表操作步骤

    千次阅读 2019-04-26 09:39:17
    本文适用于需要将Excel里边的数据导入sql的临时表。主要介绍2种操作方法:拼接法和SSMS引入法 一、拼接法: 打开ssms,先创建一张临时表,语句如下: --创建临时表 CREATE table #temp (fname varchar(100),...
  • MongoDB的数据导入和导出功能

    千次阅读 2020-05-26 17:10:47
    1、mongo导出数据为json和csv...2.-d 指定把数据导入到哪一个数据库中 -c 指定把数据导入到哪一个集合中 --type 指定导入的数据类型 --file 指定从哪一个文件中导入数据 --headerline 仅适用于导入csv,tsv格式...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,166,000
精华内容 466,400
关键字:

数据导入