精华内容
下载资源
问答
  • 1、导入整个模块: 一般格式为: import 模块1[模块2[,…]] 模块名就是程序文件的前缀,不含.py,可一次导入多个模块,导入模块后,调用模块中的函数或类时,需要以模块名为前缀,这样代码读起来更容易理解. 例...

    1、导入整个模块:

    一般格式为:

    import 模块1[模块2[,…]]

    模块名就是程序文件的前缀,不含.py,可一次导入多个模块,导入模块后,调用模块中的函数或类时,需要以模块名为前缀,这样代码读起来更容易理解.

    例:

    import math

    math.sin(0.5)

    0.4794255

    2、与form联用导入整个模块:
    一般格式为:

    form 模块名 import*

    这种方式导入模块后,调用模块中的函数或类,仅使用函数名或类名,代码简洁,但可读性差,不容易理解

    例:

    form math import*

    cos(0.5)

    0.8775825

    3、与form联用导入一个或多个对象:
    一般格式为:

    form 模块名 import 对象1[,对象2[,对象…]]

    这种方式只导入模块中的一个或多个对象,调用模块中的对象时,仅使用对象名(#与方法二类似)

    例:

    form math import sin,cos,exp

    sin(0.5)

    0.4794255

    cos(0.5)

    0.8775825

    exp(1)

    2.7182818

    展开全文
  • 常规方法: 以导入numpy 为例 (1)import numpy (2) import numpy as np(别名,自己定义) (3)import numpy *(不推荐) 动态导入: 待补充

    常规方法:

    以导入numpy 为例

    (1)import numpy

    (2) import numpy as np(别名,自己定义) 

    (3)import numpy *(不推荐)

    动态导入:

    待补充

    展开全文
  • Hive几种数据导入方式

    万次阅读 2014-10-28 23:04:17
    今天的话题是总结Hive的几种常见的数据导入方式,我总结为四种: (1)、从本地文件系统中导入数据到Hive表; (2)、从HDFS上导入数据到Hive表; (3)、从别的表中查询出相应的数据并导入到Hive表中; (4)、在...

     好久没写Hive的那些事了,今天开始写点吧。今天的话题是总结Hive的几种常见的数据导入方式,我总结为四种:
    (1)、从本地文件系统中导入数据到Hive表;
    (2)、从HDFS上导入数据到Hive表;
    (3)、从别的表中查询出相应的数据并导入到Hive表中;
    (4)、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
    我会对每一种数据的导入进行实际的操作,因为纯粹的文字让人看起来很枯燥,而且学起来也很抽象。好了,开始操作!

      一、从本地文件系统中导入数据到Hive表
      先在Hive里面创建好表,如下:

    1 hive> create table wyp
    2     > (id int, name string,
    3     > age int, tel string)
    4     > ROW FORMAT DELIMITED
    5     > FIELDS TERMINATED BY '\t'
    6     > STORED AS TEXTFILE;
    7 OK
    8 Time taken: 2.832seconds

    这个表很简单,只有四个字段,具体含义我就不解释了。本地文件系统里面有个/home/wyp/wyp.txt文件,内容如下:

    1 [wyp@master~]$ cat wyp.txt
    2 1      wyp     25     13188888888888
    3 2      test    30     13888888888888
    4 3      zs      34     899314121

    wyp.txt文件中的数据列之间是使用\t分割的,可以通过下面的语句将这个文件里面的数据导入到wyp表里面,操作如下:

    1 hive> load data local inpath 'wyp.txt'into table wyp;
    2 Copying data from file:/home/wyp/wyp.txt
    3 Copying file: file:/home/wyp/wyp.txt
    4 Loading data to table default.wyp
    5 Table default.wyp stats:
    6 [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 67]
    7 OK
    8 Time taken: 5.967seconds

    这样就将wyp.txt里面的内容导入到wyp表里面去了(关于这里面的执行过程大家可以参见本博客的《Hive表与外部表》),可以到wyp表的数据目录下查看,如下命令:

    1 hive> dfs -ls /user/hive/warehouse/wyp ;
    2 Found 1items
    3 -rw-r--r--3wyp supergroup 672014-02-1918:23/hive/warehouse/wyp/wyp.txt

    数据的确导入到wyp表里面去了。

      和我们熟悉的关系型数据库不一样,Hive现在还不支持在insert语句里面直接给出一组记录的文字形式,也就是说,Hive并不支持INSERT INTO …. VALUES形式的语句。

      二、HDFS上导入数据到Hive表
      从本地文件系统中将数据导入到Hive表的过程中,其实是先将数据临时复制到HDFS的一个目录下(典型的情况是复制到上传用户的HDFS home目录下,比如/home/wyp/),然后再将数据从那个临时目录下移动(注意,这里说的是移动,不是复制!)到对应的Hive表的数据目录里面。既然如此,那么Hive肯定支持将数据直接从HDFS上的一个目录移动到相应Hive表的数据目录下,假设有下面这个文件/home/wyp/add.txt,具体的操作如下:

    1 [wyp@master/home/q/hadoop-2.2.0]$ bin/hadoop fs -cat /home/wyp/add.txt
    2 5      wyp1    23     131212121212
    3 6      wyp2    24     134535353535
    4 7      wyp3    25     132453535353
    5 8      wyp4    26     154243434355

      上面是需要插入数据的内容,这个文件是存放在HDFS上/home/wyp目录(和一中提到的不同,一中提到的文件是存放在本地文件系统上)里面,我们可以通过下面的命令将这个文件里面的内容导入到Hive表中,具体操作如下:

    01 hive> load data inpath '/home/wyp/add.txt'into table wyp;
    02 Loading data to table default.wyp
    03 Table default.wyp stats:
    04 [num_partitions: 0, num_files: 2, num_rows: 0, total_size: 215]
    05 OK
    06 Time taken: 0.47seconds
    07  
    08 hive> select * from wyp;
    09 OK
    10 5      wyp1    23     131212121212
    11 6      wyp2    24     134535353535
    12 7      wyp3    25     132453535353
    13 8      wyp4    26     154243434355
    14 1      wyp     25     13188888888888
    15 2      test    30     13888888888888
    16 3      zs      34     899314121
    17 Time taken: 0.096seconds, Fetched: 7row(s)

      从上面的执行结果我们可以看到,数据的确导入到wyp表中了!请注意load data inpath ‘/home/wyp/add.txt’ into table wyp;里面是没有local这个单词的,这个是和一中的区别。

      三、从别的表中查询出相应的数据并导入到Hive表中
      假设Hive中有test表,其建表语句如下所示:

    01 hive> create table test(
    02     > id int, name string
    03     > ,tel string)
    04     > partitioned by
    05     > (age int)
    06     > ROW FORMAT DELIMITED
    07     > FIELDS TERMINATED BY '\t'
    08     > STORED AS TEXTFILE;
    09 OK
    10 Time taken: 0.261seconds

      大体和wyp表的建表语句类似,只不过test表里面用age作为了分区字段(关于什么是分区字段,请参见本博客的《Hive的数据存储模式》中的介绍,其详细的介绍本博客将会在接下来的时间内介绍,请关注本博客!)。下面语句就是将wyp表中的查询结果并插入到test表中:

    01 hive> insert into table test
    02     > partition (age='25')
    03     > select id, name, tel
    04     > from wyp;
    05 #####################################################################
    06            这里输出了一堆Mapreduce任务信息,这里省略
    07 #####################################################################
    08 Total MapReduce CPU Time Spent: 1seconds 310msec
    09 OK
    10 Time taken: 19.125seconds
    11  
    12 hive> select * from test;
    13 OK
    14 5      wyp1    131212121212   25
    15 6      wyp2    134535353535   25
    16 7      wyp3    132453535353   25
    17 8      wyp4    154243434355   25
    18 1      wyp     13188888888888 25
    19 2      test    13888888888888 25
    20 3      zs      899314121      25
    21 Time taken: 0.126seconds, Fetched: 7row(s)

      通过上面的输出,我们可以看到从wyp表中查询出来的东西已经成功插入到test表中去了!如果目标表(test)中不存在分区字段,可以去掉partition (age=’25′)语句。当然,我们也可以在select语句里面通过使用分区值来动态指明分区:

    01 hive> set hive.exec.dynamic.partition.mode=nonstrict;
    02 hive> insert into table test
    03     > partition (age)
    04     > select id, name,
    05     > tel, age
    06     > from wyp;
    07 #####################################################################
    08            这里输出了一堆Mapreduce任务信息,这里省略
    09 #####################################################################
    10 Total MapReduce CPU Time Spent: 1seconds 510msec
    11 OK
    12 Time taken: 17.712seconds
    13  
    14  
    15 hive> select * from test;
    16 OK
    17 5      wyp1    131212121212   23
    18 6      wyp2    134535353535   24
    19 7      wyp3    132453535353   25
    20 1      wyp     13188888888888 25
    21 8      wyp4    154243434355   26
    22 2      test    13888888888888 30
    23 3      zs      899314121      34
    24 Time taken: 0.399seconds, Fetched: 7row(s)

      这种方法叫做动态分区插入,但是Hive中默认是关闭的,所以在使用前需要先把hive.exec.dynamic.partition.mode设置为nonstrict。当然,Hive也支持insert overwrite方式来插入数据,从字面我们就可以看出,overwrite是覆盖的意思,是的,执行完这条语句的时候,相应数据目录下的数据将会被覆盖!而insert into则不会,注意两者之间的区别。例子如下:

    1 hive> insert overwrite table test
    2     > PARTITION (age)
    3     > select id, name, tel, age
    4     > from wyp;

      更可喜的是,Hive还支持多表插入,什么意思呢?在Hive中,我们可以把insert语句倒过来,把from放在最前面,它的执行效果和放在后面是一样的,如下:

    01 hive> show create table test3;
    02 OK
    03 CREATE  TABLE test3(
    04   id int,
    05   name string)
    06 Time taken: 0.277seconds, Fetched: 18row(s)
    07  
    08 hive> from wyp
    09     > insert into table test
    10     > partition(age)
    11     > select id, name, tel, age
    12     > insert into table test3
    13     > select id, name
    14     > where age>25;
    15  
    16 hive> select * from test3;
    17 OK
    18 8      wyp4
    19 2      test
    20 3      zs
    21 Time taken: 4.308seconds, Fetched: 3row(s)

      可以在同一个查询中使用多个insert子句,这样的好处是我们只需要扫描一遍源表就可以生成多个不相交的输出。这个很酷吧!

      四、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中
      在实际情况中,表的输出结果可能太多,不适于显示在控制台上,这时候,将Hive的查询输出结果直接存在一个新的表中是非常方便的,我们称这种情况为CTAS(create table .. as select)如下:

    01 hive> create table test4
    02     > as
    03     > select id, name, tel
    04     > from wyp;
    05  
    06 hive> select * from test4;
    07 OK
    08 5      wyp1    131212121212
    09 6      wyp2    134535353535
    10 7      wyp3    132453535353
    11 8      wyp4    154243434355
    12 1      wyp     13188888888888
    13 2      test    13888888888888
    14 3      zs      899314121
    15 Time taken: 0.089seconds, Fetched: 7row(s)

      数据就插入到test4表中去了,CTAS操作是原子的,因此如果select查询由于某种原因而失败,新表是不会创建的!
      好了,很晚了,今天就到这,洗洗睡!2014年2月20日 00:59:17

    展开全文
  • 从入手工具可分为三种方式,一是传统的DOS窗口,输入执行的SQL语句,另一也是目前用的最广泛的可视化窗体操作,如时下的PL/SQL等,还有一是使用Oracle的bin目录imp.exe工具进行操作。 为了进一步理解Oracle...

    关于Oracle数据导入导出不同于像MySQL那么简单,初学者也容易犯困,搞得模糊不清。本文就详细介绍Oracle导入导出,帮助大家理清思路。从入手工具可分为三种方式,一种是传统的DOS窗口,输入执行的SQL语句,另一种也是目前用的最广泛的可视化窗体操作,如时下的PL/SQL等,还有一种是使用Oracle的bin目录imp.exe工具进行操作。

    为了进一步理解Oracle文件原理。这里我按照Oracle文件分类的的方式分为三类,dmp文件、sql文件以及pde文件。下面详细介绍:

    1.dmp文件方式

    描述:dmp文件是二进制的,可以跨平台,并且包含权限,支持大字段数据,是用的最广泛的一种。

    导出语法:exp 用户名/密码@监听器路径/数据库实例名称 file=e:数据库文件.dmp full=y ignore=y ;其中full = y ,表示整个数据库操作; ignore=y,忽略错误,继续操作;
    重点内容
    导出举例:exp jojo/jojo@localhost/my_database file=e:my_database.dmp full=y ignore=y

    导入语法:imp 用户名/密码@监听器路径/数据库实例名称 file=e:数据库文件.dmp full=y ignore=y ;

    导入举例:imp jojo/jojo@localhost/my_database file=e:my_database.dmp full=y ignore=y

    2.sql文件方式

    SQL文件可用文本编辑器查看,有利于可读性,但效率不如dmp文件,适合小数据量导入导出。尤其注意的是表中不能有大字段(blob,clob,long),如果有,会提示不能导出(提示如下: table contains one or more LONG columns cannot export in sql format,user Pl/sql developer format instead)

    3.pde文件

    第三种是导出为pde格式,pde格式是PL/SQL 自带的文件格式,且且适用于PL/SQL工具,编辑器无法查看,一般不常用。

    展开全文
  • Hive几种数据导入导出方式

    千次阅读 2016-04-15 13:21:18
    导入:Hive几种数据导入方式 导出:http://gaoxianwei.iteye.com/blog/2158475 1.拷贝文件   如果数据文件恰好是用户需要的格式,那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path ...
  • Hive数据导入导出的几种方式

    万次阅读 2015-12-25 17:23:38
    一,Hive数据导入几种方式 首先列出讲述下面几种导入方式的数据和hive表。 Hive表: 创建testA:   CREATE TABLE testA ( id INT, name string, area string ) PARTITIONED BY (create_time string) ROW...
  • R语言导入导出数据的几种方式总结

    万次阅读 多人点赞 2017-09-18 21:50:28
    关于R从不同数据源导入数据的几种方式总结   导出: 对于某一数据集导出文件的方法 导出例子:write.csv(data_1,file = "d:/1111111111.csv") 其中data_1是你的数据集,file是你的存储路径和要存储...
  • oracle导入导出数据的几种方式

    万次阅读 2016-09-02 11:42:13
    oracle导入导出数据 1.导出dmp格式文件 --备份某张表 !!!! exp smsc/smsc file=/data/oracle_bak/dmp/bakup0209_2.dmp tables=\(send_msg_his,send_msg,recv_msg_his,recv_msg\) --备份整个数据库 !!!! ...
  • [ ]带括号的表示可选择字段LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTOTABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]各种参数说明:1-hive只对导入该表中的数据按照自己的方式 ...
  • 模块导入几种方式

    千次阅读 2019-08-23 10:28:00
    概念 Python 模块是一个以 .py 结尾的 Python 文件,包含了 Python 对象定义和Python语句。每一个模块在python里都被看做是一个独立的文件。模块可以被别的程序引入,以使用该模块中的函数等...模块可以导入其它模...
  • 数据库导入导出的几种方式

    千次阅读 2019-01-10 15:21:03
    一、导入数据库数据: 1)创建数据库create database dbname 方案一: a)选择数据库 mysql>use dbname ; b)设置数据库编码 ...c)导入数据(注意sql文件的路径) ...(命令结束标
  • import导入几种方式

    千次阅读 2019-05-17 23:48:59
    1. Import the whole module by name 2. Import definitions via name or wildcard 3.Import whole module by alias
  • 1 以非gradle方式将 Eclipse 项目导入Android Studio 如下图所示是一个典型的eclipse项目 在android studio中打开open工程
  • Neo4j数据导入几种方式总结

    千次阅读 2019-02-11 17:42:16
    这是一安全措施,可防止数据库访问标准导入目录之外的文件。设置dbms.directories.import为空删除此安全措施,而是允许访问系统上的任何文件。这是不推荐的。 参考:...
  • Maven下导入jar包的几种方式

    万次阅读 2017-11-16 10:41:10
    1、通过pom.xml导入jar包(1)打开链接...(3)查看Maven pom.xml依赖语句->Copy到你的项目pom.xml中->右键项目->Maven->Update Project->Maven Dependencies中就了你想要的jar包 复制Dependency标签
  • redis几种数据导出导入方式

    千次阅读 2018-08-09 13:30:00
    环境说明: 172.20.0.1 redis源实例 172.20.0.2 redis目标实例 172.20.0.3 任意linux系统 一、redis-dump方式 1.安装redis-dump工具 [root@172.20.0.3 ~]# yum install ruby rubygems ruby-dev...
  • Python中几种导入模块的方式

    千次阅读 2016-11-13 23:31:01
    常见的方式有如下几种:1 . import >>> import sys >>> sys.path ['', 'C:\\Python34\\Lib\\idlelib', 'C:\\Windows\\system32\\python34.zip', 'C:\\Python34\\DLLs', 'C:\\Python34\\lib', 'C
  • 海量数据导入Neo4j的几种方式

    千次阅读 2018-06-26 20:22:51
    常见数据插入方式概览Neo4j VersionLanguage DriverCommunity 3.0.2Python neo4j-driver 1.0.0目前主要以下几种数据插入方式:Cypher CREATE 语句,为每一条数据写一个CREATECypher LOAD CSV 语句,将数据转成....
  • Idea中导入jar的几种方式

    千次阅读 2018-11-11 15:21:31
    1.对于导入的eclipse项目,该方式添加的jar包没有任何反应,用make编译项目会报错 2.对于在idea中创建的项目,该方式添加jar包,编译不报错,但是打开Structure会"...jar ... is missing ..."的提示,...
  • 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本人声明。... 首先,我们导入导出数据,肯定是要通过Oracle自带的可运行程序来完成数据的导入导出工作,imp.exe 和exp.exe这两个可
  • 在ArcGIS Engine开发过程中,比较常用并且重要的功能就是数据转换,对于数据转换方法您是否足够清楚?ArcGIS Engine中常用的...一、ArcGIS Engine中导入数据的几种方式及其优缺点:IFeatureDataConverter:细粒度,用于
  • 目录获取想要添加的依赖,或者jar包maven添加依赖手动导入jar包最后测试一下,是否添加成功 下面多图预警 获取想要添加的依赖,或者jar包 添加依赖 ,或者下载jar包,都可以去maven网站下载。 进入 Maven仓库:...
  • Hive几种数据导入方式和动态分区,多表插入等调优小技巧Hive几种数据导入方式今天的话题是总结Hive的几种常见的数据导入方式,我总结为四种:(1)、从本地文件系统中导入数据到Hive表;(2)、从HDFS上导入数据到...
  • 文章目录一、导入模块、函数/类 的方式1.1、import 模块名1.2、import 模块N:导入多个模块名1.3、from 模块名 import 函数名 N :导入并指定函数1.4、from 模块名 import * :导入所有函数1.5、as :导入模块或函数...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 350,965
精华内容 140,386
关键字:

导入的方式有哪几种