精华内容
下载资源
问答
  • 本书提供了非常易学的自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种...你还将通过使用综合语言数据结构访问含有丰富注释的数据集,理解用于分析书面通信内容和结构的主要算法。
  • PYTHON自然语言处理中文pdf

    千次阅读 2018-07-22 00:32:00
    Python自然语言处理(影印)》提供了非常易学自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种语言处理技术。在《Python自然语言处理(影印)》中,你将学会编写Python程序...

    下载地址:网盘下载

    《Python自然语言处理(影印版)》提供了非常易学的自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种语言处理技术。在《Python自然语言处理(影印版)》中,你将学会编写Python程序处理大量非结构化文本。你还将通过使用综合语言数据结构访问含有丰富注释的数据集,理解用于分析书面通信内容和结构的主要算法。
    《Python自然语言处理》准备了充足的示例和练习,可以帮助你:
    从非结构化文本中抽取信息,甚至猜测主题或识别“命名实体”;
    分析文本语言结构,包括解析和语义分析;
    访问流行的语言学数据库,包括WordNet和树库(treebank);
    从多种语言学和人工智能领域中提取的整合技巧。
    《Python自然语言处理(影印版)》将帮助你学习运用Python编程语言和自然语言工具包(NLTK)获得实用的自然语言处理技能。如果对于开发Web应用、分析多语言新闻源或记录濒危语言感兴趣——即便只是想从程序员视角观察人类语言如何运作,你将发现《Python自然语言处理》是一本令人着迷且极为有用的好书。
    Steven Bird是墨尔本大学计算机科学和软件工程系副教授,以及宾夕法尼亚大学语言数据联合会高级研究助理。
    克莱因是爱丁堡大学信息学院语言技术教授。
    洛普最近从宾夕法尼亚大学获得机器学习自然语言处理博士学位,目前是波士顿BBN Technologies公司的研究员。
    下载地址:网盘下载

    转载于:https://www.cnblogs.com/cf1774575641/p/9348716.html

    展开全文
  • Python自然语言处理(影印)》提供了非常易学自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种语言处理技术。在《Python自然语言处理(影印)》中,你将学会编写Python程序...
  • Python自然语言处理(影印)》提供了非常易学自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种语言处理技术。在《Python自然语言处理(影印)》中,你将学会编写Python程序...
  • 本书提供了非常易学的自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种...你还将通过使用综合语言数据结构访问含有丰富注释的数据集,理解用于分析书面通信内容和结构的主要算法。
  • Python程序设计 第3》是面向大学计算机科学专业教材。本书以Python语言为工具,采用相当传统方法,强调解决问题、设计和编程是计算机科学核心技能。 全书共13章,此外,还包含两个附录。第 1章到第5章介绍...
  • 本书提供了非常易学的自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种语言...你还将通过使用综合语言数据结构访问含有丰富注释的数据集,理解用于分析书面通信内容和结构的主要算法
  • 首先学习Python的基础知识,然后使用Python来控制Excel,做数据处理电子版数据免费下载 链接: https://pan.baidu.com/s/17xqT5bXsJFbfXJTXcGrXYQ 提取码: src8 复制这段内容后打开百度网盘手机App,操作更方便哦...

    首先学习Python的基础知识,然后使用Python来控制Excel,做数据处理。

    电子版数据免费下载 链接: https://pan.baidu.com/s/17xqT5bXsJFbfXJTXcGrXYQ 提取码: src8 复制这段内容后打开百度网盘手机App,操作更方便哦

    视频课程回帖可见,课程也是买来的,分享给大家。视频和学习资料都有

    课程目录:

    第1章 python基础

    1.1 什么是python?

    1.2 为什么要学习用Python处理Excel表格?

    1.3 手把手教你安装python程序

    1.3.1 下载python

    1.3.2 安装python

    1.3.3 验证是否安装成功

    1.4 安装Python集成开发工具PyCharm

    1.4.1 下载

    1.4.2 安装

    1.5 Python的输入与输出

    1.5.1 Print输出

    1.5.2 Input输入

    1.6 Python的代码注释

    1.6.1 单行注释

    1.6.2 多行注释

    1.7 学Python,不愁没对象!

    1.7.1 对象的身份

    1.7.2 对象的类型

    1.7.3 对象的值

    1.7.4 对象的属性和方法

    1.7.5 对象与变量

    1.8 Python中的数字与字符串

    1.8.1 数字

    1.8.2 字符

    1.9 算术运算符

    1.9.1 加(+)

    1.9.2 减(-)

    1.9.3 乘(*)

    1.9.4 除(/)

    1.9.5 取模(%)

    1.9.6 幂(**)

    1.9.7 取整数(//)

    1.10 比较运算符

    1.10.1 等于(==)

    1.10.2 不等于(!=)

    1.10.3 大于(>)

    1.10.4 小于(<)

    1.10.5 大于等于(>=)

    1.10.6 小于等于(<=)

    1.11 赋值运算符

    1.11.1 赋值运算

    1.11.2 累积式赋值运算

    1.12 逻辑运算符

    1.12.1 and(与)

    1.12.2 or(或)

    1.12.3 not(非)

    1.13 成员运算符

    1.13.1 成员运算符(in)

    1.14 格式化字符串

    1.15 完美看清代码运行过程第2章 用Python对 Excel读写数据

    2.1 什么是模块、包、库

    2.2 安装Excel读取库xlrd

    2.3 xlrd模块导入

    2.4 读取Excel工作簿、工作表信息

    2.5 读取Excel行、列、单元格信息

    2.6 安装Excel写入库xlwt

    2.7 创建工作簿、工作表和写入单元格

    2.8 安装Excel修改库

    2.9 修改工作簿、工作表、单元格

    第3章 循环语句与分支语句

    3.1 for…in循环语句基础

    3.1.1 循环字符串

    3.1.2 循环指定范围序列数

    3.2 for…in循环语句应用(批量创建工作簿)

    3.3 for…in嵌套循环语句

    3.4 for…in嵌套循环语句应用(制作九九乘法表)

    3.5 while循环语句

    3.6 while循环语句应用(读取工作簿信息到新表)

    3.7 while嵌套循环语句

    3.8 while嵌套循环语句应用(批量创建工作簿、工作表)

    3.9 if条件语句

    3.10 if…else条件语句

    3.11 多条件if语句1(将筛选结果写入新工作簿)

    3.12 多条件if语句2(根据总分判断等级)

    3.13 break语句(跳出整个循环)

    3.14 continue语句(跳出当次循环)

    3.15 综合应用

    第4章 字符串处理技术

    4.1 字符串切片

    4.1.1 提取单个字符

    4.1.2 提取多个字符

    4.2 字符串切片应用(整理工作表数据)

    4.3 字符串长度(个数)统计

    4.3.1 len

    4.3.2 count

    4.4 字符串的查找

    4.4.1 index

    4.4.2 find

    4.5 字符串的替换

    4.6 字符串的拆分与合并

    4.6.1 split

    4.6.2 join

    第5章 列表处理技术

    5.1 列表基础

    5.2 列表切片

    5.3 列表的增加、删除、修改

    5.3.1 列表元素的修改

    5.3.2 列表元素的增加

    5.3.3 列表元素的删除

    5.4 实例应用(汇总每个人的总成绩

    5.5 列表操作符

    5.5.1 操作符基础

    5.5.2 实例应用:判断指定姓名在指定日期是否值班

    5.6 列表推导式

    5.7 实例应用(筛选各工作表中符合条件的值)

    5.8 列表转换

    5.9 实例应用(统计出大于等于2万的记录到新表)

    5.10 列表常见统计方式1

    5.11 列表常见统计方式2

    第6章 元组处理技术

    6.1 元组的创建

    6.2 元组的基本操作

    6.3 元组常用统计方法

    第7章 字典处理技术

    7.1 字典的基础

    7.1.1 创建字典

    7.1.2 字典键的特性

    7.1.3 获取字典里的值

    7.1.4 小实例

    7.2 实例应用(提取产品最后的记录)

    7.3 字典的转换

    7.3.1 dict转换法

    7.3.2 dict.fromkeys转换法

    7.4 实例应用(多列求唯一值)

    7.5 字典的删除

    7.5.1 Clear方法清空字典

    7.5.2 pop方法删除字典

    7.5.3 del语句删除字典

    7.6 实例应用(查询未发货订单)

    7.7 字典的修改

    7.7.1 字典的值修改

    7.7.2 字典的键名修改

    7.7.3 字典的连接

    7.8 实例应用(统计各种蔬菜的总金额)

    7.9 字典的查询

    7.9.1 判断是否存在

    7.9.2 单值查询

    7.9.3 多值查询

    7.10 实例应用(统计各日期的销售数据)

    7.11 字典的循环

    7.11.1 普通循环

    7.11.2 字典在列表中的推导

    7.11.3 字典推导式

    7.12 实例应用(统计各省各公司总业绩)

    第8章 集合处理技术

    8.1 集合的创建

    8.1.1 可变集合(set)

    8.1.2 不可变集合(frozenset)

    8.2 实例应用(判断指定项目是否存在)

    8.3 集合的添加与删除

    8.3.1 集合的添加

    8.3.1 集合的删除

    8.4 实例应用(多行多列求唯一值)

    8.5 集合的循环与推导

    8.5.1 集合的循环

    8.5.2 集合的推导

    8.6 实例应用(统计每月每个战队的人数)

    8.7 集合的运算

    8.8 实例应用(求每个人不达标的月份)

    第9章 Python函数技术

    9.1 自定义函数的基本结构

    9.1.1 函数的定义

    9.1.2 实例应用(定义平均函数及应用)

    9.2 位置参数写法及应用

    9.2.1 位置参数(必需参数)

    9.2.2 实例应用(等级判断函数及应用)

    9.3 默认参数写法及应用

    9.3.1 默认参数(可选参数)

    9.3.2 实例应用(定位指定字符串的位置)

    9.4 关键字参数写法及应用

    9.4.1 关键字参数

    9.4.2 实例应用(汇总字符串中指定位置的数字)

    9.5 不定长参数写法及应用

    9.5.1 不定长参数

    9.5.2 实例应用(增强替换函数的功能)

    9.6 匿名函数写法及应用

    9.6.1 匿名函数

    9.6.2 实例应用:根据身份证号判断性别

    9.7 递归函数写法及应用

    第10章 高阶函数应用

    10.1 map转换函数

    10.1.1 map函数的应用方法

    10.1.2 实例应用(每个月大于等于100的记录数)

    10.2 filter筛选函数

    10.3 Sort与Sorted排序函数

    10.3.1 sort方法

    10.3.2 sorted函数

    10.3.3 实例应用(自定义排序)

    下载地址:

    游客,如果您要查看本帖隐藏内容请回复

    展开全文
  • 首先学习Python的基础知识,然后使用Python来控制Excel,做数据处理电子版数据免费下载 链接: https://pan.baidu.com/s/17xqT5bXsJFbfXJTXcGrXYQ 提取码: src8 复制这段内容后打开百度网盘手机App,操作更方便哦...

    首先学习Python的基础知识,然后使用Python来控制Excel,做数据处理。

    电子版数据免费下载 链接: https://pan.baidu.com/s/17xqT5bXsJFbfXJTXcGrXYQ 提取码: src8 复制这段内容后打开百度网盘手机App,操作更方便哦

    视频课程回帖可见,课程也是买来的,分享给大家。视频和学习资料都有

    课程目录:

    第1章 python基础

    1.1 什么是python?

    1.2 为什么要学习用Python处理Excel表格?

    1.3 手把手教你安装python程序

    1.3.1 下载python

    1.3.2 安装python

    1.3.3 验证是否安装成功

    1.4 安装Python集成开发工具PyCharm

    1.4.1 下载

    1.4.2 安装

    1.5 Python的输入与输出

    1.5.1 Print输出

    1.5.2 Input输入

    1.6 Python的代码注释

    1.6.1 单行注释

    1.6.2 多行注释

    1.7 学Python,不愁没对象!

    1.7.1 对象的身份

    1.7.2 对象的类型

    1.7.3 对象的值

    1.7.4 对象的属性和方法

    1.7.5 对象与变量

    1.8 Python中的数字与字符串

    1.8.1 数字

    1.8.2 字符

    1.9 算术运算符

    1.9.1 加(+)

    1.9.2 减(-)

    1.9.3 乘(*)

    1.9.4 除(/)

    1.9.5 取模(%)

    1.9.6 幂(**)

    1.9.7 取整数(//)

    1.10 比较运算符

    1.10.1 等于(==)

    1.10.2 不等于(!=)

    1.10.3 大于(>)

    1.10.4 小于(<)

    1.10.5 大于等于(>=)

    1.10.6 小于等于(<=)

    1.11 赋值运算符

    1.11.1 赋值运算

    1.11.2 累积式赋值运算

    1.12 逻辑运算符

    1.12.1 and(与)

    1.12.2 or(或)

    1.12.3 not(非)

    1.13 成员运算符

    1.13.1 成员运算符(in)

    1.14 格式化字符串

    1.15 完美看清代码运行过程第2章 用Python对 Excel读写数据

    2.1 什么是模块、包、库

    2.2 安装Excel读取库xlrd

    2.3 xlrd模块导入

    2.4 读取Excel工作簿、工作表信息

    2.5 读取Excel行、列、单元格信息

    2.6 安装Excel写入库xlwt

    2.7 创建工作簿、工作表和写入单元格

    2.8 安装Excel修改库

    2.9 修改工作簿、工作表、单元格

    第3章 循环语句与分支语句

    3.1 for…in循环语句基础

    3.1.1 循环字符串

    3.1.2 循环指定范围序列数

    3.2 for…in循环语句应用(批量创建工作簿)

    3.3 for…in嵌套循环语句

    3.4 for…in嵌套循环语句应用(制作九九乘法表)

    3.5 while循环语句

    3.6 while循环语句应用(读取工作簿信息到新表)

    3.7 while嵌套循环语句

    3.8 while嵌套循环语句应用(批量创建工作簿、工作表)

    3.9 if条件语句

    3.10 if…else条件语句

    3.11 多条件if语句1(将筛选结果写入新工作簿)

    3.12 多条件if语句2(根据总分判断等级)

    3.13 break语句(跳出整个循环)

    3.14 continue语句(跳出当次循环)

    3.15 综合应用

    第4章 字符串处理技术

    4.1 字符串切片

    4.1.1 提取单个字符

    4.1.2 提取多个字符

    4.2 字符串切片应用(整理工作表数据)

    4.3 字符串长度(个数)统计

    4.3.1 len

    4.3.2 count

    4.4 字符串的查找

    4.4.1 index

    4.4.2 find

    4.5 字符串的替换

    4.6 字符串的拆分与合并

    4.6.1 split

    4.6.2 join

    第5章 列表处理技术

    5.1 列表基础

    5.2 列表切片

    5.3 列表的增加、删除、修改

    5.3.1 列表元素的修改

    5.3.2 列表元素的增加

    5.3.3 列表元素的删除

    5.4 实例应用(汇总每个人的总成绩

    5.5 列表操作符

    5.5.1 操作符基础

    5.5.2 实例应用:判断指定姓名在指定日期是否值班

    5.6 列表推导式

    5.7 实例应用(筛选各工作表中符合条件的值)

    5.8 列表转换

    5.9 实例应用(统计出大于等于2万的记录到新表)

    5.10 列表常见统计方式1

    5.11 列表常见统计方式2

    第6章 元组处理技术

    6.1 元组的创建

    6.2 元组的基本操作

    6.3 元组常用统计方法

    第7章 字典处理技术

    7.1 字典的基础

    7.1.1 创建字典

    7.1.2 字典键的特性

    7.1.3 获取字典里的值

    7.1.4 小实例

    7.2 实例应用(提取产品最后的记录)

    7.3 字典的转换

    7.3.1 dict转换法

    7.3.2 dict.fromkeys转换法

    7.4 实例应用(多列求唯一值)

    7.5 字典的删除

    7.5.1 Clear方法清空字典

    7.5.2 pop方法删除字典

    7.5.3 del语句删除字典

    7.6 实例应用(查询未发货订单)

    7.7 字典的修改

    7.7.1 字典的值修改

    7.7.2 字典的键名修改

    7.7.3 字典的连接

    7.8 实例应用(统计各种蔬菜的总金额)

    7.9 字典的查询

    7.9.1 判断是否存在

    7.9.2 单值查询

    7.9.3 多值查询

    7.10 实例应用(统计各日期的销售数据)

    7.11 字典的循环

    7.11.1 普通循环

    7.11.2 字典在列表中的推导

    7.11.3 字典推导式

    7.12 实例应用(统计各省各公司总业绩)

    第8章 集合处理技术

    8.1 集合的创建

    8.1.1 可变集合(set)

    8.1.2 不可变集合(frozenset)

    8.2 实例应用(判断指定项目是否存在)

    8.3 集合的添加与删除

    8.3.1 集合的添加

    8.3.1 集合的删除

    8.4 实例应用(多行多列求唯一值)

    8.5 集合的循环与推导

    8.5.1 集合的循环

    8.5.2 集合的推导

    8.6 实例应用(统计每月每个战队的人数)

    8.7 集合的运算

    8.8 实例应用(求每个人不达标的月份)

    第9章 Python函数技术

    9.1 自定义函数的基本结构

    9.1.1 函数的定义

    9.1.2 实例应用(定义平均函数及应用)

    9.2 位置参数写法及应用

    9.2.1 位置参数(必需参数)

    9.2.2 实例应用(等级判断函数及应用)

    9.3 默认参数写法及应用

    9.3.1 默认参数(可选参数)

    9.3.2 实例应用(定位指定字符串的位置)

    9.4 关键字参数写法及应用

    9.4.1 关键字参数

    9.4.2 实例应用(汇总字符串中指定位置的数字)

    9.5 不定长参数写法及应用

    9.5.1 不定长参数

    9.5.2 实例应用(增强替换函数的功能)

    9.6 匿名函数写法及应用

    9.6.1 匿名函数

    9.6.2 实例应用:根据身份证号判断性别

    9.7 递归函数写法及应用

    第10章 高阶函数应用

    10.1 map转换函数

    10.1.1 map函数的应用方法

    10.1.2 实例应用(每个月大于等于100的记录数)

    10.2 filter筛选函数

    10.3 Sort与Sorted排序函数

    10.3.1 sort方法

    10.3.2 sorted函数

    10.3.3 实例应用(自定义排序)

    下载地址:

    游客,如果您要查看本帖隐藏内容请回复

    展开全文
  • 使用openpyxl用Python编写的一系列脚本,用于Excel中的数据处理 即时图像是托莱多卢卡斯县公共图书馆( 创建的旧图像数据库。 这些图像已通过Ohio Memory 上传到CONTENTdm 出色的Roxanna Foster导出了“及时映像...
  • 一、环境搭建 Python往postgresql中导数据,至少需要3个库包,gdal、shaply、psycopg2。 先一个一个来。 1.安装gdal ...根据python的版本选择程序。...如果不知道python的版本,可以打开cmd,输入python,回车...

    一、环境搭建

    Python往postgresql中导数据,至少需要3个库包,gdal、shaply、psycopg2。

    先一个一个来。

    1.安装gdal

    直接安会有问题,先去下个安装程序,https://www.lfd.uci.edu/~gohlke/pythonlibs/#gdal

    根据python的版本选择程序。

    如果不知道python的版本,可以打开cmd,输入python,回车。

     

    根据python版本和电脑位数,选了GDAL-3.0.1-cp37-cp37m-win32.whl下载。

    安装的时候,打开cmd,运行语句:pip install D:\gismap\软件\ GDAL-3.0.1-cp37-cp37m-win32.whl,输入,回车。

    如果提示,

     

    提示要升级pip,写啥就敲啥。python -m pip install --upgrade pip

    升级完了,接着运行上一个语句,把GADL安装了。

     

     

    2.安装shaply

    先去下个安装程序,https://www.lfd.uci.edu/~gohlke/pythonlibs/#shapely

    根据python版本和电脑位数,选了Shapely-1.6.4.post2-cp37-cp37m-win32.whl下载。

    安装的时候,打开cmd,运行语句:pip install D:\gismap\软件\Shapely-1.6.4.post2-cp37-cp37m-win32.whl,输入,回车。

    如果提示,

     

    提示要升级pip,写啥就敲啥。python -m pip install --upgrade pip

    升级完了,接着运行上一个语句,把shapely安装了。

     

     

     

    3.安装psycopg2

    这个直接在pycharm上安装就行。

    File——Settings,选择Project Interpreter,选择python.exe路径,点击加号,加库包,搜索需要的库包,选中,点击Install Package安装。

    装pgcopy,能把psycopg2都装上。

     

    二、测试库包

    先建个txt,readshptopg.txt,改成readshptopg.py,用pycharm打开,直接拖拽到界面里就可以,如果显示,No interpreter,就设置一下,引到python.exe所在的路径下。

    敲入:

    import shapely

    import psycopg2

    import gdal

    如果有代码补全,那么就说明安装得差不多了。

    然后开始一个一个包来引用。

    三、确定编码

    首先确定电脑的编码。

    打开cmd,输入chcp,我的电脑返回“活动代码页:936”,这说明我的电脑默认编码格式是gbk的。

    1. 脚本结构定义

    Py脚本怎么写都能执行,但还是将结构规范化一下,这是代码的整洁之美。

    # coding=gbk

    Import 库包

    Def 函数():

    if __name__ == '__main__':

           执行函数

     

    四、读取shp文件

    这个是读shp,返回一个list的方法,再把list写入一个文本文档的方法。

     

    # coding=gbk
    
    try:
    
        from osgeo import gdal
    
        from osgeo import ogr
    
    except ImportError:
    
        import gdal
    
        import ogr
    
    # pathStr,shp文件的全路径
    
    def ReadVectorFile(pathStr):
    
    
    
        # 返回结果是一个list
    
        result=[]
    
        # 支持中文路径
    
        gdal.SetConfigOption("GDAL_FILENAME_IS_UTF8", "NO")
    
        # 属性表字段支持中文
    
        gdal.SetConfigOption("SHAPE_ENCODING", "")
    
        strVectorFile = pathStr
    
        # 注册所有的驱动
    
        ogr.RegisterAll()
    
        # 打开数据
    
        ds = ogr.Open(strVectorFile, 0)
    
        # 获取该数据源中的图层个数,一般shp数据图层只有一个,如果是mdb、dxf等图层就会有多个
    
        iLayerCount = ds.GetLayerCount()
    
        # 获取第一个图层
    
        oLayer = ds.GetLayerByIndex(0)
    
        # 对图层进行初始化
    
        oLayer.ResetReading()
    
        # 获取图层中的属性表表头并输出,可以定义建表语句
    
        print("属性表结构信息:")
    
        oDefn = oLayer.GetLayerDefn()
    
        iFieldCount = oDefn.GetFieldCount()
    
        for iAttr in range(iFieldCount):
    
            oField = oDefn.GetFieldDefn(iAttr)
    
            print("%s: %s(%d.%d)" % ( \
    
         \
    
                oField.GetNameRef(), \
    
         \
    
                oField.GetFieldTypeName(oField.GetType()), \
    
         \
    
                oField.GetWidth(), \
    
         \
    
                oField.GetPrecision()))
    
        # 输出图层中的要素个数
    
        print("要素个数 = ", oLayer.GetFeatureCount(0))
    
        oFeature = oLayer.GetNextFeature()
    
        # 下面开始遍历图层中的要素,将对象都作为string输出
    
        while oFeature is not None:
    
            # 获取要素中的属性表内容
    
            lineStr=[]
    
            for iField in range(iFieldCount):
    
                lineStr.append(oFeature.GetFieldAsString(iField))
    
        # 获取要素中的几何体
    
            oGeometry = oFeature.GetGeometryRef()
    
            lineStr.append(str(oGeometry))
    
            # print(lineStr)
    
            result.append(lineStr)
    
            # 循环
    
            oFeature = oLayer.GetNextFeature()
    
        print("数据集关闭!")
    
        return result
    
    
    
    if __name__ == '__main__':
    
        result=ReadVectorFile(r'D:\gismap\data\v6_time_cnty_pts_utf_wgs84\v6_time_cnty_pts_utf_wgs84.shp')
    
        f_new=open(r'D:\gismap\data\v6_time_cnty_pts_utf_wgs84\v6_time_cnty_pts_utf_wgs84.txt','a',encoding='utf-8')
    
        for r in result:
    
            for p in r:
    
                f_new.write(p+'\t')
    
            f_new.write('\n')
    
        f_new.close()

     

     

    好像这里没有能用的到shapely的方法,shapely是相对轻量级的gis库包,可以用来构建rtree和进行点面判断等。

    五、Pg库建表语句

    直接将之前shp生成的txt文件作为源,写入数据库。

    既然要写入,至少要进行两个步骤的操作。

    其一是建表。

    其二是插入。

    先写v6_time_cnty_pts_utf_wgs84.shp这个的建表语句,建表的时候最好加上字段说明,否则时间长了,都不知道这个表是干什么的了。

    建表语句如下,顺便见了个索引。

    --建表

    CREATE TABLE public. v6_time_cnty_pts_utf_wgs84(

      gid SERIAL8 PRIMARY KEY NOT NULL,

      name_py varchar(40),

      name_ch varchar(45),

      name_ft varchar(45),

      x_coor float8,

      y_coor float8,

      pres_loc varchar(60),

      type_py varchar(15),

      type_ch varchar(15),

      lev_rank varchar(1),

      beg_yr int8,

      beg_rule varchar(1),

      end_yr int8,

      end_rule varchar(1),

      note_id int8,

      obj_type varchar(7),

      sys_id int8,

      geo_src varchar(10),

      compiler varchar(12),

      gecomplr varchar(10),

      checker varchar(10),

      ent_date varchar(10),

      beg_chg_ty varchar(21),

      end_chg_ty varchar(30),

      geom geometry

    );

    --建立索引

    CREATE INDEX v6_time_cnty_pts_utf_wgs84_index ON v6_time_cnty_pts_utf_wgs84 USING btree(gid);

    --表说明

    COMMENT ON TABLE public.v6_time_cnty_pts_utf_wgs84 IS '第6版中国历史地理时间序列点数据';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.gid IS '主键ID';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.name_py IS '拼音名称';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.name_ch IS '简体中文名称';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.name_ft IS '繁体中文名称';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.x_coor IS '经度';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.y_coor IS '纬度';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.pres_loc IS '现所在地';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.type_py IS '建制类型拼音';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.type_ch IS '建制类型简体中文';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.lev_rank IS '建制等级';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.beg_yr IS '建制开始时间';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.beg_rule IS '开始时间精度';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.end_yr IS '建制结束时间';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.end_rule IS '结束时间精度';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.note_id IS '系统id';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.obj_type IS 'geometry对象类型';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.sys_id IS '系统id';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.geo_src IS 'geometry数据来源';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.compiler IS '编辑人员';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.gecomplr IS '绘制人员';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.checker IS '审核人员';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.ent_date IS '结束时间';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.beg_chg_ty IS '建制开始原因';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.end_chg_ty IS '建制结束原因';

    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.geom IS 'geometry对象';

     

    六、Insert语句

    插一条数据进去。

    INSERT INTO v6_time_cnty_pts_utf_wgs84(name_py,name_ch,name_ft,x_coor,y_coor,pres_loc,type_py,type_ch,lev_rank,beg_yr,beg_rule,end_yr,end_rule,note_id,obj_type,sys_id,geo_src,compiler,gecomplr,checker,ent_date,beg_chg_ty,end_chg_ty,geom) VALUES('Luowubu','罗婺部','羅婺部',102.40378,25.88668,'云南省禄劝彝族苗族自治县西北七十二里云龙','Bu','部','6',960,null,1253,null,80317,'       POINT',80317,'FROM_FD',null,null,null,null,'新建','撤销',st_geomfromtext('POINT(102.4037799950270653 25.88667999033716072)',4326))

     

    七、Python写入pg库

    先测试一下,能不能连接成功

    # coding=gbk
    
    import psycopg2
    
    
    
    conn = psycopg2.connect(database="postgres", user="postgres", password="123456", host="127.0.0.1", port="5432")
    
    
    
    print('连接成功')

     

     

    打印“连接成功就说明连接成功了。

     

    先执行个建表语句。

    # coding=gbk
    import psycopg2
    # 连接数据库
    conn = psycopg2.connect(database="postgres", user="postgres", password="123456", host="127.0.0.1", port="5432")
    print('连接成功')
    # 建立游标
    cur = conn.cursor()
    cur.execute(
    '''--建表
    CREATE TABLE public. v6_time_cnty_pts_utf_wgs84(
     
    gid SERIAL8 PRIMARY KEY NOT NULL,
     
    name_py varchar(40),
     
    name_ch varchar(45),
     
    name_ft varchar(45),
     
    x_coor float8,
     
    y_coor float8,
     
    pres_loc varchar(60),
     
    type_py varchar(15),
     
    type_ch varchar(15),
     
    lev_rank varchar(1),
     
    beg_yr int8,
     
    beg_rule varchar(1),
     
    end_yr int8,
     
    end_rule varchar(1),
     
    note_id int8,
     
    obj_type varchar(7),
     
    sys_id int8,
     
    geo_src varchar(10),
     
    compiler varchar(12),
     
    gecomplr varchar(10),
     
    checker varchar(10),
     
    ent_date varchar(10),
     
    beg_chg_ty varchar(21),
     
    end_chg_ty varchar(30),
     
    geom geometry
    );
    --
    建立索引
    CREATE INDEX v6_time_cnty_pts_utf_wgs84_index ON v6_time_cnty_pts_utf_wgs84 USING btree(gid);
    --表说明
    COMMENT ON TABLE public.v6_time_cnty_pts_utf_wgs84 IS '第6版中国历史地理时间序列点数据';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.gid IS '主键ID';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.name_py IS '拼音名称';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.name_ch IS '简体中文名称';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.name_ft IS '繁体中文名称';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.x_coor IS '经度';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.y_coor IS '纬度';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.pres_loc IS '现所在地';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.type_py IS '建制类型拼音';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.type_ch IS '建制类型简体中文';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.lev_rank IS '建制等级';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.beg_yr IS '建制开始时间';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.beg_rule IS '开始时间精度';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.end_yr IS '建制结束时间';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.end_rule IS '结束时间精度';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.note_id IS '系统id';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.obj_type IS 'geometry对象类型';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.sys_id IS '系统id';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.geo_src IS 'geometry数据来源';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.compiler IS '编辑人员';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.gecomplr IS '绘制人员';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.checker IS '审核人员';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.ent_date IS '结束时间';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.beg_chg_ty IS '建制开始原因';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.end_chg_ty IS '建制结束原因';
    COMMENT ON COLUMN public.v6_time_cnty_pts_utf_wgs84.geom IS 'geometry对象';'''
    )

     

     

    建表完成之后,用之前生成的txt文件写库。

     

    # coding=gbk
    
    import psycopg2
    
    # 连接数据库
    
    conn = psycopg2.connect(database="postgres", user="postgres", password="123456", host="127.0.0.1", port="5432")
    
    print('连接成功')
    
    # 建立游标
    
    cur = conn.cursor()
    
    f=open(r'D:\gismap\data\v6_time_cnty_pts_utf_wgs84\v6_time_cnty_pts_utf_wgs84.txt','r',encoding='utf-8')
    
    # 按行读入txt
    
    flines=f.readlines()
    
    for line in flines:
    
        # 去掉干扰,切词
    
        abbrlist=line.replace("'"," ").split('\t')
    
        # name_py,name_ch,name_ft,x_coor,y_coor,pres_loc,type_py,type_ch,lev_rank,beg_yr,beg_rule,end_yr,end_rule,note_id,obj_type,sys_id,geo_src,compiler,gecomplr,checker,ent_date,beg_chg_ty,end_chg_ty,geom
    
        name_py='null'
    
        if (abbrlist[0]!=''):
    
            name_py="'"+abbrlist[0]+"'"
    
        name_ch='null'
    
        if (abbrlist[1]!=''):
    
            name_ch="'"+abbrlist[1]+"'"
    
        name_ft='null'
    
        if (abbrlist[2]!=''):
    
            name_ft="'"+abbrlist[2]+"'"
    
        x_coor='null'
    
        if (abbrlist[3]!=''):
    
            x_coor=abbrlist[3]
    
        y_coor='null'
    
        if (abbrlist[4]!=''):
    
            y_coor=abbrlist[4]
    
        pres_loc='null'
    
        if (abbrlist[5]!=''):
    
            pres_loc="'"+abbrlist[5]+"'"
    
        type_py='null'
    
        if (abbrlist[6]!=''):
    
            type_py="'"+abbrlist[6]+"'"
    
        type_ch='null'
    
        if (abbrlist[7]!=''):
    
            type_ch="'"+abbrlist[7]+"'"
    
        lev_rank='null'
    
        if (abbrlist[8]!=''):
    
            lev_rank="'"+abbrlist[8]+"'"
    
        beg_yr='null'
    
        if (abbrlist[9]!=''):
    
            beg_yr=abbrlist[9]
    
        beg_rule='null'
    
        if (abbrlist[10]!=''):
    
            beg_rule="'"+abbrlist[10]+"'"
    
        end_yr='null'
    
        if (abbrlist[11]!=''):
    
            end_yr=abbrlist[11]
    
        end_rule='null'
    
        if (abbrlist[12]!=''):
    
            end_rule="'"+abbrlist[12]+"'"
    
        note_id='null'
    
        if (abbrlist[13]!=''):
    
            note_id=abbrlist[13]
    
        obj_type='null'
    
        if (abbrlist[14]!=''):
    
            obj_type="'"+abbrlist[14]+"'"
    
        sys_id='null'
    
        if (abbrlist[15]!=''):
    
            sys_id=abbrlist[15]
    
        geo_src='null'
    
        if (abbrlist[16]!=''):
    
            geo_src="'"+abbrlist[16]+"'"
    
        compiler='null'
    
        if (abbrlist[17]!=''):
    
            compiler="'"+abbrlist[17]+"'"
    
        gecomplr='null'
    
        if (abbrlist[18]!=''):
    
            gecomplr="'"+abbrlist[18]+"'"
    
        checker='null'
    
        if (abbrlist[19]!=''):
    
            checker="'"+abbrlist[19]+"'"
    
        ent_date='null'
    
        if (abbrlist[20]!=''):
    
            ent_date="'"+abbrlist[20]+"'"
    
        beg_chg_ty='null'
    
        if (abbrlist[21]!=''):
    
            beg_chg_ty="'"+abbrlist[21]+"'"
    
        end_chg_ty='null'
    
        if (abbrlist[22]!=''):
    
            end_chg_ty="'"+abbrlist[22]+"'"
    
        geom='null'
    
        if (abbrlist[23]!=''):
    
            geom="st_geomfromtext('"+abbrlist[23]+"',4326)"
    
        # 拼接sql语句
    
        sqltxt="INSERT INTO v6_time_cnty_pts_utf_wgs84(" \
    
               "name_py,name_ch,name_ft,x_coor,y_coor,pres_loc,type_py,type_ch,lev_rank,beg_yr,beg_rule," \
    
               "end_yr,end_rule,note_id,obj_type,sys_id,geo_src,compiler,gecomplr,checker,ent_date," \
    
               "beg_chg_ty,end_chg_ty,geom) VALUES("+name_py+","+name_ch+","+name_ft+","+x_coor+","+y_coor+","\
    
               +pres_loc+","+type_py+","+type_ch+","+lev_rank+","+beg_yr+","+beg_rule+","+end_yr+","+end_rule+","\
    
               +note_id+","+obj_type+","+sys_id+","+geo_src+","+compiler+","+gecomplr+","+checker+","+ent_date+","\
    
               +beg_chg_ty+","+end_chg_ty+","+geom+")"
    
        print(sqltxt)
    
        # 执行sql
    
        cur.execute(sqltxt)
    
    # 关闭连接
    
    conn.commit()
    
    conn.close()
    
    print('插入完成')

     

    另外的文件就按照这个流程来就可以,polygon格式有点不同,详见下一篇。

     

    要是觉得写脚本麻烦,就直接用postgis导入也可以。

     

     

    展开全文
  • 大约一年前,我开始修改构建我一直想要的数据科学IDE的想法。在与MicrosoftExcel、R(Studio)和Python广泛合作之后,我设想了一些集成版本将如何使我的生活更轻松 为什么? 我与Gridstudio一起着手解决的主要问题是,...
  • py-xlsx, 用于从 Office 打开XML电子表格xlsx中解析数据的python 代码 python-xlsx一个小足迹and读取器,它理解共享字符串,并且可以以处理excel日期。要求无外部要求支持 python 版本 2.6 + 和 3.2 + 。用法...
  • 一个案例研究主要设计特点基本数据类型11.2 语料库生命周期语料库创建三种方案质量控制维护与演变11.3 数据采集从网上获取数据从字处理器文件获取数据电子表格和数据库中获取数据转换数据格式决定要包含标注层...
  • Python算法教程简及PDF电子版下载

    千次阅读 2019-05-09 19:20:13
    转 《Python算法教程》简介及PDF电子版下载 内容简介: Python是一种面向对象、解释型计算机程序设计语言,其应用领域非常广泛,包括数据分析、自然语言处理、机器学习、科学计算以及推荐系统构建等。 本书用Python...
  • NLTK 包含 古腾堡项目(Project Gutenberg) 电子文本档案经过挑选一小部分文本,该项目大约有25,000本免费电子图书。 import nltk # 输出语料库中文件标识符 print(nltk.corpus.gutenberg.fileids()) ...
  • Python自然语言处理(影印)》提供了非常易学自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种语言处理技术。在《Python自然语言处理(影印)》中,你将学会编写Python程序...
  • 掌握了初步的词云制作...但由于本人掌握的数据分析技术有限,直接处理原版的《三国演义》难度很大(因为原版中很多简称,例如“公”、只称名不称姓等),因此文本内容使用的是《白话三国》(电子赵括 著)的TXT版本。
  • 大多数模块使用Python的本机库实现日志 安装 从项目根目录使用pip本地安装: pip install -r requirements.txt pip install . 未使用<3.9.1的Python版本测试 模组 核 :执行常见的数据库操作 :日期时间的...
  • Python自然语言处理》提供了非常易学自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种语言处理技术。在《Python自然语言处理(影印)》 中,你将学会编写Python程序处理大量...
  • 本书是经典的Python指导书,在第一版的基础上进行了全面升级。全书分为两个部分:第1部分占据了大约三分之二篇幅,阐释这门语言“核心”内容,包括基本概念和语句、语法和风格、 Python对象、数字类型、序列...
  • Python参考手册(第4)

    2015-11-09 22:21:34
    Python参考手册(第4) 第一部分 Python语言  第1章 Python简介 2  1.1 运行Python 2  1.2 变量和算术表达式 3  1.3 条件语句 5  1.4 文件输入和输出 6  1.5 字符串 7  1.6 列表 8  1.7 元组 9  1.8 集合 ...
  • 因为我们可能还不知道需要用计算机编程来处理的文本或数据的具 体内容,所以能将这些文本或者数据以某种可被计算机识别和处理的模式表达出来是非常有 用。 如果我在运营一个电子邮件存档公司,而作为我一位客户...

空空如也

空空如也

1 2 3 4 5 ... 8
收藏数 154
精华内容 61
关键字:

python的数据处理电子版

python 订阅