-
2020-02-26 16:17:56
跟爬虫相爱相杀了那么久,突然发现Excel居然还有直接导入网站数据的功能,针对一些小的网页爬取请求,Excel的输出格式简明,方法简单,是真的香啊!!
但是mac版本中有些Excel的功能并不完全,或者在其他地方很难找的,所以特此写了这篇博客来与mac用户分享一下这个发现
我们以12306网站的数据为例:
首先复制网址:
http://www.12306.cn/mormhweb/tlkytst/
打开word,新建一个空白文档:
把网址复制进去后点击保存,保存到一个你找得到的地方就好!
这里敲黑板:文件名字一定要写成以.iqy结尾,文件格式选取纯文本(.txt)
然后会出现这个页面,选择文件编码为:MS-DOS
好了,现在找到你存的文档,双击选择显示简介
扩展名里把txt去掉,这样它就成为一个iqy文件啦!现在我们打开excel,Mac的数据导入选项与win系统不同:
在这里找到运行web查询,选择刚刚保存好的iqy文件,然后导入就好啦!
最终的运行效果如下:
就问你Excel香不香!!!我反正i了~~~更多相关内容 -
dbeaver导入excel文件_001利用python导入外部数据
2020-11-22 21:05:09一、直接读取.xlsx文件import pandas as pddf = pd.read_excel('Data.xlsx')在读取数据时,可把excel文件保存在用Pycharm建立的工程目录下,如上所示,此种情况不需要添加文件的路径信息,直接读取即可。在读取数据...一、直接读取.xlsx文件
import pandas as pd
df = pd.read_excel('Data.xlsx')
在读取数据时,可把excel文件保存在用Pycharm建立的工程目录下,如上所示,此种情况不需要添加文件的路径信息,直接读取即可。
在读取数据时,也可指定文件的路径进行数读取。电脑里的文件路径默认使用,这个时候需要在路径前边加一个转义字符r,也可以不加r,但需要把换成/,如下所示。
import pandas as pd
df = pd.read_excel(r"C:UsersOwenDesktopData.xlsx")
#df = pd.read_excel("C:/Users/Owen/Desktop/Data.xlsx")
print (df)
读取指定Excel文件的子表
.xlsx格式的文件可以有多个sheet,可以通过sheetname参数指定要导入哪个sheet文件。
df = pd.read_excel(r"C:UsersOwenDesktopData.xlsx",sheetname="Sheet1")
除了可以指定具体Sheet的名字,还可以传入Sheet的顺序,从0开始计数。如果不指定sheet_name参数时,那么默认导入的都是第一个Sheet的文件。
二、指定行索引
将本地文件导入DataFrame时,行索引使用的从0开始的默认索引,可以通过设置index_col参数来设置。
index_col表示用.xlsx文件中的第几列做行索引,从0开始计数。
df=pd.read_excel(r"C:UsersOwenDesktopData.xlsx",sheetname="Sheet1",index_col=0)
三、指定列索引
将本地文件导入DataFrame时,默认使用源数据表的第一行作为列索引,也可以通过设置header参数来设置列索引。header参数值默认为0,即用第一行作为列索引;也可以是其他行,只需要传入具体的那一行即可。
#使用第一行作为列索引
df=pd.read_excel(r"C:UsersOwenDesktopData.xlsx",sheetname="Sheet1",header=0
#使用第二行作为列索引
df=pd.read_excel(r"C:UsersOwenDesktopData.xlsx",sheetname="Sheet1",header=1)
四、指定导入列
有的时候本地文件的列数太多,而我们又不需要那么多列时,我们就可以通过设定usecols参数来指定要导入的列。
df=pd.read_excel(r"C:UsersOwenDesktopData.xlsx",sheetname="Sheet1",usecols=[0])
df=pd.read_excel(r"C:UsersOwenDesktopData.xlsx",sheetname="Sheet1",usecols=[0,2])
五、其他文件读取方式
5.1 读取.csv文件
df = pd.read_csv(r"C:UsersOwenDesktopData.csv")
5.2 读取txt文件
df = pd.read_table(r"C:UsersOwenDesktopData.txt")
5.3 读取sql文件
第1步,将python与数据库进行连接
第2步,利用python执行sql查询语句
在目前的学习过程中,.xlsx文件用的较多,本篇以读取.xlsx文件为主,其他几种方法在后续用到时会进一步讲解。
编译环境:PyCharm Community Edition 2017.2.1 + Anaconda3
部分内容来源于《对比Excel,轻松学习Python数据分析》,本文为读书笔记,分享给有需要的人。
-
excel如何导入外部数据?
2021-04-10 15:04:46下面本篇文章就来给大家讲解一种导入外部数据的具体做法,希望对你们有所帮助。Excel可以导入很多种类的数据,最为常见的是Access数据,但今天给大家举例的是怎么导入文档文件。具体步骤:1、先打开一个Excel文件的...在编辑Excel过程中,如果需要把其他文件里面的数据全文照搬到Excel文件中,这该怎么做?下面本篇文章就来给大家讲解一种导入外部数据的具体做法,希望对你们有所帮助。
Excel可以导入很多种类的数据,最为常见的是Access数据,但今天给大家举例的是怎么导入文档文件。
具体步骤:
1、先打开一个Excel文件的空白表格。如下图所示。
2、在菜单中,可以找到“数据”项,点击它我们就看到了关于“数据”的横向列表项。如下图所示。
在图中,我们就可以看到关于外部数据的选项了,Access类数据最常见,所以放在的首位。
3、因为需要导入的外部文件是个文本文件,所以选择“自文本”就可以。
4、在对话框里找到需要导入的文件,点击“导入”。
5、这时会弹出“文本导入向导”窗口,进行选项设置。其中最为关键的设置不多,我们要留意起始行设置、列宽度、最后点击完成,就完成了外部数据的导入。
我们左键单击“分隔符”—“下一步“—“Tab键”—“下一步“—”常规“—”完成“—”现有工具表“—”确定“。
6、这样就将文本文档的内容成功导入到表格中了。
更多excel相关技术知识,请访问excel使用入门教程栏目学习!
-
使用Excel“导入外部数据”功能导入标准工时数据.rar
2019-09-26 10:25:21使用Excel“导入外部数据”功能导入标准工时数据.rar,如果用户需要引用本地计算机或网络上的外部数据,可以通过使用Excel“导入外部数据”的功能来达到目的。如本例引用文件“27.3 标准工时数据.mdb”中的数据并保持... -
Excel数据导入Mysql数据库的实现代码
2021-01-20 00:30:02首先做一下说明,为什么我要用Navicat,第一个原因,因为它是个不错的Mysql GUI工具,更重要的是,它可以将一些外部数据源导入Mysql数据库中。因为我的数据源是excel数据,所以想借助Navicat将其导入Mysql。 第一次... -
详解pandas的外部数据导入与常用方法
2021-01-20 06:30:26外部数据导入 导入excel文件 pandas导入excel用read_excel()方法: import pandas as pd excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8') 姓名 年龄 工作 工资 0 张三 25 学生 200 1 ... -
如何从网页中导入外部数据到Excel2021.docx
2021-09-27 06:42:16如何从网页中导入外部数据到Excel2021.docx -
SQLyog非旗舰版向数据库导入EXCEL表格
2022-01-10 16:33:15使用MYSQL时经常面临到需要将EXCEL导入到数据库的问题。当我们在图形用户界面SQLyog选中数据库的...其中第一个“导入外部数据”的功能只能时充值成为企业旗舰版才可以使用。那么我们如何免费向数据库导入EXCEL表格呢?背景:
使用MYSQL时经常面临到需要将EXCEL导入到数据库的问题。当我们在图形用户界面SQLyog选中数据库的一个表格,然后右键选择导入时,会出现下面三个格式。其中第一个“导入外部数据”的功能只能时充值成为企业旗舰版才可以使用。那么我们如何免费向数据库导入EXCEL表格呢?
我们想到的时第二个功能,即导入本地加载的CSV数据。
一、local_infile变量的设置
首先在SQLyog输入下面的命令,查找全局变量‘local_infile’是否已经打开。
show variables like 'local_infile';
如果上述全局变量的值为“OFF”,那么在导入CSV时会出现下面的报错。
这时,输入下面的命令,更改‘local_infile’为‘ON’。
set global 'local_infile'=ON;
二、数据源处理的必要性
1.选择导入格式为任意类型会出现的问题
如果没有对原数据格式设置,直接在SQLyog中选中需要导入新数据的数据表,右键选择“导入”,选择“使用本地加载的CSV数据”。我们可以点击下面右边的选项,发现可以导入非CSV格式。
选择导入全部文件类型,然后选中“xlsx”格式的目标excel上传,则默认的上传设置变成下面所示,默认字符集为“UTF-8”格式。但是window常用字符集为“gbk”,会出现字符集不符的报错。
我们可能会想到去更改字符集设置为“jbk”。这时不会出现上述的字符集的错误,但会出现导入数据后,在数据库里显示为乱码的问题。
2.直接修改源文件后缀名为“CSV”会出现的问题
通过上述我们可能想到还是传CSV文件,但是这里也容易出现一个问题。我们通常简单的方法就是直接修改源文件后缀名为“csv“。
传入到数据库后,会出现和上述第一个情况一样的报错,即字符集不符。
更改字符集设置为“jbk”后不会出现上述的字符集的错误,但会出现导入数据后,在数据库里显示为乱码的问题。原因是实际上还是和原数据表格式不匹配。(excel的字符集应为“UTF-8mb3“,这个格式在SQLyog的选项好像并没有)
上述表明,直接修改后缀名为“CSV“和选择文件类型为所有基本上没有差别。
3.对源文件格式的处理
这里的操作方法不是直接修改源文件名,而是将“xlsx“格式的源文件打开,然后另存为”UTF-8 COMMA DELIMITED”的格式。
然后再次导入另外保存的CSV格式的文件,如下面所示。这时字符集会显示为“default“,即为符合
最后就成功导入了EXCEL到sql数据库。
-
Vs导入Excel
2020-08-10 08:16:57导入Excel前提是你得拥有这个模板,才能导入。所以第一步先下载好一个模板,然后在控制器里边去获取你下载好这个模板的存放位置。命名一个对象接收这个模板,然后Sever.MapPath模板的相对路径转换为绝对路径。 获取... -
beancount-import:用于半自动将外部数据导入beancount的Web UI
2021-05-13 13:31:00Beancount-import是一种工具,用于将外部数据源中的财务数据半自动导入簿记系统,以及相互之间以及与现有事务之间的合并和协调。 主要特征 可插拔数据源体系结构,包括对OFX(现金,投资和退休账户),Mint.com,... -
将网页表格数据导入到Excel中的两种方法
2021-06-12 02:50:29将网页表格数据导入到Excel中的第一种方法:第一步,将包括所需表格的网页打开,并按CTRL+C把网址复制到剪贴板,以备下一步使用。第二步,打开运行Excel软件,单击菜单栏中的“数据→导入外部数据→新建Web查询”,... -
plsql导入excle数据表
2019-03-01 11:14:40通过plsql的ODBC导入 excel数据表。可以在数据量大的情况下快速导入。 -
批量Excel数据导入Oracle数据库 导入excel错误:外部表不是预期的格式 解决方案
2021-01-26 22:19:47在asp.net网站中导出Excel文件后,再把文件导入到数据库中。 读取Excel文件时,打开连接出错。错误为:外部表不是预期的格式解决:检查了一下,导出的Excel是标准文件不是html,没错,Excel文件正常。调试代码,创建... -
excel2010导入外部数据的方法步骤图
2021-06-12 03:07:03学会的外部数据导入您就很容易把其他文件的数据翻录进您的Excel文件了。Excel2010如何导入外部数据的方法Excel可以导入很多种类的数据,最为常见的是Access数据,但今天小编给大家举例的是导入文档... -
【ArcGIS教程】(2)ArcMap中如何导入外部Excel属性数据呢?
2022-02-15 00:14:04【ArcGIS教程】(2)ArcMap中如何导入外部Excel属性数据呢? -
SQL Server 2012数据库导入外部数据源(Excel)
2021-11-06 14:39:55右击目标数据库,选择任务 - 导入数据,弹出sql server导入和导出向导 点击下一步,选择数据源格式,Excel文件路径,我以excel为例进行测试,选择完毕,点击下一步 设置身份验证方式,根据实际情况进行... -
SQL SERVER导入EXCEL数据时出现外部组件发生异常的错误
2021-08-18 14:55:19SQL SERVER导入EXCEL数据时出现外部组件发生异常的错误 -
从外部数据源 (Power Query) 导入数据
2021-08-04 03:52:26外部数据"。然后, 在"导入文本文件 "对话框中,双击要导入的文本文件,"文本导入向导"对话框将打开。步骤 1/3原始数据类型如果文本文件中的项目由制表符、冒号、分号、空格或其他字符分隔,请选择"以分隔符"。 如果... -
怎么把lnternet网页数据导入excel?
2021-06-18 04:02:50通过Excel的导入数据功能,用户可以将网页上的数据表资料导入Excel工作表,以便进一步加工处理成所需要的数据表。下面就教大家怎么导入数据表。1、第一步单击菜单“数据‘“导入外部数据’“新建Web查询’如图2、第... -
如何将.txt中的数据导入.excel
2022-05-03 17:59:141.在相应的文件夹新建.excel文件 2.打开.excel文件,选择“数据”,“导入数据”, 3.确定将外部数据导入WPS 导入数据完成。 -
[Excel知识技能] Txt文件数据批量导入Excel
2022-04-13 16:06:52本文主要讲解Txt文件数据批量导入Excel操作 Excel操作版本:Excel2010(中国台湾版) | Excel2019版 -
matlab导入excel数据_excel怎么导入网络上的数据?_excel导入网络数据
2021-04-21 02:23:45网络上的数据怎么导到excel中。...而导进来的直接是数据,能进行下一步编辑计算的1、打开excel,在“菜单”栏中,找到“数据”,选择“导入外部数据”,然后选择“新建web查询”2、然后会弹出“新建web查... -
Java中导入excel表中的数据
2021-03-21 22:04:57Java中导入excel表中的数据前言上代码实体类代码DBHelper数据库连接类数据操作类代码excel数据导入工具类运行测试代码运行结果总结 前言 上一篇博客分享了Java中将数据库数据导出到excel表中,这次就来分享下将excel... -
网页表格批量导入到excel表格数据-如何将多个网页上的数据批量导入EXCEL
2021-06-29 01:24:16怎么将网页中的表格数据导入Excel看看这个程序htt==ps://it365.gitlab.io/zh-cn/table-to-excel/?d59568上面的链点问题,你先复制了,粘浏览器地址栏,把前面的htt==ps改为https再进去怎么用呢?简单的说:1、把网页... -
使用JS导入外部数据并解析显示
2019-04-14 10:46:27从外部Excel、text等文件中导入数据到内存中,并解析显示 -
qatrackimport:将外部数据导入 QATrack+ 的包
2021-06-07 15:27:51该软件包由几个帮助脚本和一个 GUI 组成,允许将放射治疗机质量保证 (QA) 数据轻松导入到。 该项目是对来自 Google Group的原始想法的重要扩展。 截屏: 目前的进口来源是: Microsoft Excel 文件(用于导入以 .... -
通过Excel表格批量导入数据
2022-05-20 18:00:35Java导入Excel表格数据