精华内容
下载资源
问答
  • 信息提取
    千次阅读
    2021-05-10 16:23:09

     项目初期的部分代码,比较粗糙,随便看看就行了,效果不太好,且我后面又改了很多。

    2021年11月8日

    """单个文件等级地处理"""
    # 程序实现:1.传入一个路径(doc或docx文件路径,系统会自动判断是doc文件还是docx文件,doc文件会转换为docx文件),在本路径下生成同文件名json文件。2.传入一个路径,返回一个列表(内嵌套固定类型字典)。
    
    import os
    import docx
    import json
    from process_doc import doc2docx_1
    
    
    # 通过文件路径解析信息(txt文件编码类型为ANSI),获取案件名(文件名)、案由、案件类型、文书类型
    def case_name(filepath, anyoutxt, leixingtxt, papertypetxt, casetypetxt):
        # 获取案件名
        (path, filename) = os.path.split(filepath)
        (casename, ext) = os.path.splitext(filename)
        # 获取案由
        anyou = ''
        f01 = open(anyoutxt, "r")  # 设置文件对象,其中txt文件编码类型为ANSI
        data01 = f01.readlines()  # 直接将文件中按行读到list里,效果与方法2一样
        f01.close()  # 关闭文件
        for ay in data01:
            ay = ay.replace('\n', '')  # 删除回车
            if ay in casename:
                anyou = ay
        # 获取审理程序
        chengxu = ''
        f02 = open(leixingtxt, "r")  # 设置文件对象
        data02 = f02.readlines()  # 直接将文件中按行读到list里,效果与方法2一样
        f02.close()  # 关闭文件
        for ay in data02:
            ay = ay.replace('\n', '')  # 删除回车
            if ay in casename:
                chengxu = ay
        # 获取文书类型
        papertype = ''
        f03 = open(papertypetxt, "r")  # 设置文件对象
        data03 = f03.readlines()  # 直接将文件中按行读到list里,效果与方法2一样
        f03.close()  # 关闭文件
        for ay in data03:
            ay = ay.replace('\n', '')  # 删除回车
            if ay in casename:
                papertype = ay
        # 获取诉讼程序
        casetype = ''
        f04 = open(casetypetxt, "r")  # 设置文件对象
        data04 = f04.readlines()  # 直接将文件中按行读到list里,效果与方法2一样
        f04.close()  # 关闭文件
        for ay in data04:
            ay = ay.replace('\n', '')  # 删除回车
            if ay in casename:
                casetype = ay
        if casename =='':
            print('未找到案件名')
            casename = 'void'
        if anyou == '':
            print("未找到案由!")
            anyou = 'void'
        if chengxu == '':
            print("匹配审理程序失败!")
            chengxu = 'void'
        if papertype == '':
            print("解析文书类型失败!")
            papertype = 'void'
        if casetype == '':
            print("解析案件类型失败!")
            casetype = 'void'
        return (casename, anyou, chengxu, papertype, casetype) # 后两项仅用于传入case_base_information函数
    
    
    # 读取docx文档,并将每段存入一个列表
    def read_docx(path):
        if not os.path.exists(path):
            print('发生错误:\n'+path+'文件不存在!')
            exit(0)  # 无错误结束程序
        doc = docx.Document(path)
        paras_temp = []  # 用来存储段落
        for p in doc.paragraphs:
            p1 = p.text.replace(" ", "")  # 去除空格,并以字符串的形式存储在列表中
            paras_temp.append(p1)
        print(path + ":  文件读取成功")
        return paras_temp
    
    
    # 传入读取的文件段落列表,获取案件基本信息:法院,文书性质,案号,判决日期
    def case_base_information(paras, papertype, casetype, papertypetxt, casetypetxt):
        case_court = paras[0]
        type = paras[1]
        case_number = paras[2]
        # 变量名分配
        prosecution_organ = ''   # 公诉机关
        part_people_index0 = 0   # 参与人第一段索引(初始化
        part_people_index1 = 0   # 参与人最后一段索引(初始化
        law_index0 = 0  # 相关法律初始段(初始化
        defendants = [] # 被告人
        law_relate = []
        # 获取文书类型
        if papertype == 'void':
            f03 = open(papertypetxt, "r")  # 设置文件对象
            data03 = f03.readlines()  # 直接将文件中按行读到list里,效果与方法2一样
            f03.close()  # 关闭文件
            for ay in data03:
                ay = ay.replace('\n', '')  # 删除回车
                if ay in type:
                    papertype = ay
        # 获取诉讼程序
        if casetype == 'void':
            f04 = open(casetypetxt, "r")  # 设置文件对象
            data04 = f04.readlines()  # 直接将文件中按行读到list里,效果与方法2一样
            f04.close()  # 关闭文件
            for ay in data04:
                ay = ay.replace('\n', '')  # 删除回车
                if ay in type:
                    casetype = ay
        # 遍历检索
        judge_day = 'void'
        n1 = 1
        for p in paras:
            # 提取公诉机关(检察院)
            if '公诉机关' in p:
                if len(prosecution_organ) <= 0:
                    prosecution_organ = p.replace('公诉机关','')
                    prosecution_organ = prosecution_organ.replace('。','')
                    part_people_index0 = paras.index(p) + 1
                    n1 += 1
            # 案由段,暂时未提取!!!!!!!
            elif '已审理终结' in p:
                anyou = p
            if '年' and '月' and '日' in p:
                if len(p) <= 12:
                    judge_day = p
            # 相关法律条文起始段索引
            if '法律条文' in p:
                law_index0 = paras.index(p)
            if n1 ==2 and (prosecution_organ in p):
                part_people_index1 = paras.index(p) - 1
        # 提取被告人信息(包括辩护人)
        while part_people_index0 <= part_people_index1:
            defendants.append(paras[part_people_index0])
            part_people_index0 += 1
        # 相关法律条文
        if law_index0 > 0:
            while law_index0 < len(paras):
                law_relate.append(paras[law_index0])
                law_index0 += 1
        if prosecution_organ == '':
            print('未提取到公诉机关')
            prosecution_organ = 'void'
        if defendants == []:
            print('未提取到被告人信息')
            defendants.append('void')
        if law_relate == []:
            print('文书未附相关法律条文')
            law_relate.append('void')
        if judge_day == 'void':
            print('提取判决日期失败')
        return (papertype, casetype, case_court, case_number, judge_day, defendants, prosecution_organ, law_relate)
    
    
    # 将信息存入字典(在此设置字典)(暂时不用)
    def information_dict(casename, anyou, chengxu, papertype, casetype, fayuan, wenshuleixing, anhao, panjueriqi, beigaoren, gongsuren):
        info_dict_temp = {'案件名': casename,  '案号':anhao, '案由':anyou, '程序': chengxu, '文书类型':papertype,
                          '案件类型': casetype, '法院':fayuan, '文书类型':wenshuleixing,
                          '判决日期': panjueriqi, '被告人':beigaoren, '公诉人':gongsuren
                          }
        return info_dict_temp
    
    
    # 将信息存入列表(内嵌套字典)
    def information_list(casename, anyou, chengxu, papertype, anjianleixing,
                            fayuan, anhao, panjueriqi, beigaoren, gongsuren, law_ralated):
        info_list = [
            {'案件名': casename}, {'案由': anyou}, {'程序': chengxu},
            {'文书类型': papertype}, {'案件类型': anjianleixing},
            {'法院': fayuan}, {'案号':anhao},
            { '判决日期': panjueriqi}, {'被告人': beigaoren}, { '公诉人':gongsuren}, {'相关法律': law_ralated}
        ]
        return info_list
    
    
    # 字典转json文件(savefile_load是文件夹路径)
    def dict2json(info_dict, savefile_load, casename):
        b = json.dumps(info_dict, ensure_ascii=False)
        savefile_load = savefile_load + '/' + casename + '.json'
        f2 = open(savefile_load, 'w')
        f2.write(b)
        f2.close()
    
    
    def list_output(file_path):
        if os.path.splitext(file_path)[-1] == ".doc":  # 判断文件类型是否为doc
            print('传入文件格式为doc,将转换为docx格式。')
            doc2docx_1(file_path)
            file_path = file_path + 'x'
        # 设置引用文件路径(因为后期可能要更新相应信息,所以采用此种方式更方便一些)
        anyoutxt = 'D:/projects_pycharm/lawdocs2excel/data_access/data/anyou.txt'
        leixingtxt = 'D:/projects_pycharm/lawdocs2excel/data_access/data/chengxu.txt'
        papertypetxt = 'D:/projects_pycharm/lawdocs2excel/data_access/data/paper_type.txt'
        casetypetxt = 'D:/projects_pycharm/lawdocs2excel/data_access/data/case_type.txt'
    
        (casename, anyou, chengxu, papertype0, casetype0) = \
            case_name(file_path, anyoutxt, leixingtxt, papertypetxt, casetypetxt)
    
        paras = read_docx(file_path)  # 读取文书段落
    
        (papertype, casetype, fayuan, anhao, panjueriqi, beigaoren, gongsuren, law_ralated) \
            = case_base_information(paras, papertype0, casetype0, papertypetxt, casetypetxt)  # 读取基本信息
    
        info_list = information_list(casename, anyou, chengxu, papertype, casetype, fayuan, anhao,
                                     panjueriqi, beigaoren, gongsuren, law_ralated)
        return info_list
    
    
    if __name__ == '__main__':
        path = 'E:/NLP/doc2docx_test/王云清应先勇等强迫交易罪非法占用农用地罪夏君兵王某29强迫交易罪一审刑事判决书.doc'
        info_list = list_output(path)
        for i in info_list:
            print(i)

    以下为文件内容举例。

    anyou.txt

    重大环境污染事故罪
    污染环境罪
    非法处置进口的固体废物罪
    擅自进口固体废物罪
    非法捕捞水产品罪
    非法猎捕、杀害珍贵、濒危野生动物罪
    非法收购、运输、出售珍贵、濒危野生动物、珍贵、濒危野生动物制品罪
    非法狩猎罪
    非法占用耕地罪
    非法占用农用地罪
    非法采矿罪
    破坏性采矿罪
    非法采伐、毁坏国家重点保护植物罪
    非法收购、运输、加工、出售国家重点保护植物、国家重点保护植物制品罪
    非法采伐、毁坏珍贵树木罪
    盗伐林木罪
    非法收购、运输盗伐、滥伐的林木罪
    非法收购盗伐、滥伐的林木罪

    paper_type.txt

    判决书
    裁定书
    调解书
    决定书
    通知书

    代码补充:

    # 实现单个doc文件转换为docx文件
    def doc2docx_1(doc_path):
        # 打开word并设置
        word = wc.Dispatch("Word.Application")
        word.Visible = 0  # 1程序可见,0不可见
        print(doc_path)
        doc = word.Documents.Open(doc_path)
        docx_save_path = doc_path + 'x'
        doc.SaveAs(docx_save_path, 12, False, "", True, "", False, False, False, False)  # 转换后的文件,12代表转换后为docx文件
        doc.Close()
        word.Quit()

    更多相关内容
  • 基于遥感影像的道路材质信息提取方法研究 姓 名 某某某 学 号 000000000000 院 系 XXXXXXX学院 专 业 XXXXXXX专业 指导教师 某某某 二〇二一年六月三日 学位论文原创性声明 本人所提交的学位论文基于遥感影像的道路...

    人是21届毕业生 毕业论文选择的是遥感影像处理方面的,基于遥感影像的道路材质信息提取方法研究

    下面是我的毕业论文,,可以参照浏览。可能部分为内容出现乱码的情况,大量图片无法显示,这里附上原件,链接:https://pan.baidu.com/s/1d4PzL52gcSrhe12BobFUhQ
    提取码:t9c6
    后期如果需要,可以应读者要求,会把做毕设过程中参考的文献,论文,操作步骤都整理出来。

    本科毕业论文

    基于遥感影像的道路材质信息提取方法研究

    姓 名 某某某

    学 号 000000000000

    院 系 XXXXXXX学院

    专 业 XXXXXXX专业

    指导教师 某某某

    二〇二一年六月三日

    学位论文原创性声明

    本人所提交的学位论文基于遥感影像的道路材质信息提取方法研究,是在导师的指导下,独立进行研究工作所取得的原创性成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体,均已在文中标明。

    本声明的法律后果由本人承担。

    论文作者(签名):XXX 指导教师确认(签名):XXX

    2021年6月3日 2021年6月3日

    学位论文版权使用授权书

    本学位论文作者完全了解华北理工大学有权保留并向国家有关部门或机构送交学位论文的复印件和磁盘,允许论文被查阅和借阅。本人授权华北理工大学可以将学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或其它复制手段保存、汇编学位论文。

    保密的学位论文在_______年解密后适用本授权书。

    论文作者(签名): XXX 指导教师(签名):XXX

    2021年6月3日 2021年6月3日

    摘 要

    遥感影像随着社会的快速发展,所包含的地物信息越来越丰富。道路信息作为研究地物中一个重要的参数,其中道路材质,也相应成为遥感影像的一个重要发展参照目标。道路材质信息类型的识别,对道路的分析以及道路可通行性来说具有重大意义,故遥感影像的道路材质信息的提取研究方法也逐渐发展开来。本文基于GF-2号遥感影像,利用ENVI
    5.3
    平台采用面向对象规则制定对曹妃甸部分区域影像的道路材质信息进行提取。利用地物光谱特征、几何特征、纹理特征等多种特征相结合分析不同材质道路在各个波段的信息,避免同谱异物和“椒盐现象”的发生,进而确定多层次规则,完成对道路材质信息的提取。基于实地考察数据,结合实际道路类型对分类提取结果进行二次修正。对最后结果进行精度评价分析,研究结果表明基于规则面向对象的分类提取结果的总体精度达到92.2701%和Kappa系数达到0.8534,完全达到预期结果,能够清晰提取出来不同道路类型。此方法的应用对道路的建设规划有重大意义。

    关键词:光谱特征;纹理特征;面向对象;基于规则;精度评价

    ABSTRACT

    目 录

    第1章 绪论 4

    1.1 选题背景 4

    1.2 国内外研究现状 4

    1.3 论文研究内容与结构安排 6

    1.3.1 论文主要工作 6

    1.3.2 论文结构安排 6

    1.4 本章小结 7

    第2章 研究区介绍与数据预处理 8

    2.1 研究区区域概况 8

    2.2 数据来源与获取 8

    2.3 GF-2号影像数据预处理 9

    2.3.1 辐射定标 10

    2.2.2 大气校正 11

    2.2.3 正射校正 12

    2.2.4 图像融合 13

    2.4 最佳波段组合 14

    2.5 本章小结 16

    第3章 道路材质信息提取过程 17

    3. 1 最优分割尺度 17

    3.2 纹理特征 18

    3.3 光谱特征 21

    3.4 基于面向对象对道路材质的提取 23

    3.4.1 裸土道路的提取 23

    3.4.2 沥青道路的提取 24

    3.4.3 铁路的提取 25

    3.4.4 水泥道路的提取 26

    3.5 实地考察验证及修正 27

    3.6 本章小结 29

    第4章 道路材质提取结果及精度分析 30

    4.1 道路材质信息提取结果 30

    4.2 精度评价方法 31

    4.3 精度评价结果 32

    4.4 本章小结 33

    第5章 结论与展望 34

    5.1 结论 34

    5.2 展望 34

    参考文献 36

    致谢 38

    第1章 绪论

    1.1 选题背景

    随着社会的持续发展,遥感卫星获取的影像已逐渐发展成为对地观测系统的数据来源。遥感技术获取的目标地物影像的分辨率程度呈上升趋势,所获取的地物包含的信息更加丰富,对其中的地物信息进一步提取与处理变得尤为重要相对于遥感应用的主要研究方向,但是在获取高分辨率影像的同时,各种干扰因素随之而来,背景干扰,系统噪音、环境因素等的处理为高分遥感图像的处理带来了挑战。道路,作为经济发展的命脉,更是不同地区沟通的重要手段。基于“要想富,先修路”的理念,交通道路是交通要塞组成的必不可少的部分,道路信息的提取也相应成为研究热点。为了适应道路需求,新型道路建筑材料更是层出不穷,导致现在对道路材质信息的搜集研究方法也逐渐受到重视,已有大量的学者针对提取道路材质信息的提取方面做了大量的工作及实验,并且取得了一定的实验。

    交通道路的飞速发展,道路的规划与建设顺应潮流的发展,已经遍布各个角落,机动化水平快速提高,同样造成了道路的错综复杂。我国相对于其他发达国家来说,我国的道路建设起步较晚,但发展速度尤为快速。在道路发展建设初期,“本是没有路,走的人多了也便成了路”,那个年代道路相对单一,道路材质一般有裸土,木制材料两种。随着经济发展,道路建设完善,错综复杂,又因我国地势主要分三大阶梯状,西高东低,这一系列情况导致道路分布情况复杂。城市道路、山区道路、乡村道路的各个材质建设,分布情况,复杂程度更是也不尽相同

    因此,在遥感技术未成熟时,道路的分布、材质信息的提取需要由人工进行采集,在如此庞大的土地和错综复杂的道路分布上去采取数据,无异于是巨大的工作量,需要浪费巨大的人力资源和财力。在如此背景下,对遥感影像道路信息的提取发展成为热点研究方向之一。作为国家基础建设的重要部分,交通网络的主干,道路的信息获取对地理信系统与资源环境评价具有完善与参考的作用。基于高分辨率影像,有效对道路材质信息的提取不仅可也降低人力、物力和财力的消耗,还大幅度降低交通道路的获取时间道路,对自然灾害的发生也能够快速做出反应,及时发现道路是否畅通以及完整情况,并根据道路材质预测能承载最大重量以判断救灾车的顺利通过,对路径分析应急处理有重大作用。道路信息的提取过程又受到树木,道路不规整,车辆、道路旁边的基础建设影响,提取的结果有时会不尽人意,通过基于规则面向对象两方面试着用不同的规则进行多次实验调试,寻求最佳的提取规则。

    1.2 国内外研究现状

    随着遥感技术的不断更新,遥感影像数据包含的信息也变得更为丰富,便于人们更加深入的对遥感影像进行进一步研究。道路运输自古以来是我国的主要交通运输方式,在人类的日常生活中起到骨架构成支撑的作用,道路信息的获取从古至今都尤为重要。早在20世纪70年代后期,国外学者Bajcsy
    R等人就已开始从事基于遥感影像对道路信息的提取研究工作[1]。随后国内学者周林保等人也陆续开始进行道路特征提取相关实验。海内外学者利用各种数据源,根据图像的不同特征,从不同的角度以及不同技术方法,在各个领域对道路信息的准确提取开始了大量的实验。

    在道路信息提取方面,国内外学者都在如火如荼地进行更近一步的研究。近年来,我国关于遥感影像的道路信息提取方法研究随着科技的迅猛发展与国家综合实力的高速晋升的势头下已经涉及到许多的领域,研究出信息提取涵盖了许多方法。这些研究方法已经运用到实际中,其中具有代表性的几种方法分别为:面对对象[2]、基于特征[3]、基于分类[4]、Snakes模型[5]等研究方法。

    赵金阳等人利用面对对象提取道路的方法,利用Canny边缘检测对道路边缘增强处理,分析影像获取最优尺度参数、形状因子和紧致度因子,利用多尺度分割进行对影响的分割,通过灰度共生矩阵统计纹理特征和辐射亮度值,对道路提取的规则,完成对道路的提取[6]。杨超等利用支持向量机(SVM)的高效强大的非线性统计计算与分类能力,使用标注样本的工具选取大量道路样本进行训练,基于标记的样本训练结果对实验数据进行处理,通过融合多尺度尺度分割生成对抗网络GAN-Unet改进模型来对道路进行提取,根据纹理算子中局部二进制模式(LBP)对高分辨率遥感影像的道路材质信息的提取[7]。佘宇晨等通过沥青、落地和水泥的高光谱数据,比对通过光谱均值、倒数后取对数、二阶微分方法生成的光谱图之间的差异,得出倒数后取对数方法能够有效的识别出道路材质类型[8]。

    相对于国内来说,国外的航天技术与计算机技术起步都要早于我们国家,在对遥感图像信息提取更是起步相对更早,无论是基于深度学习还是传统的遥感图像处理。Buslaev等基于卷积神经网络,对遥感图像道路的自动提取,更好的对道路的材质进行自动识别提取[9]。Li,HuangX,Gamba
    P利用线性与非线性特征用组合的分类器对图像进行提取,此方法提取的图像信息更加清晰[10]。Costea等提出“三步走”的方法来对遥感影像的道路信息进行提取。使用U-Net网络组合对遥感影像提取道路,再通过推理计算将道路断裂丢失的部分相接在一起,以便提高道路信息提取的精度[11]。Hedman.K通过利用高分辨率合成孔径雷达场景,把类辅助特征应用到遥感影像道路信息提取中,成功完成了对城市和农村试验区的道路信息提取[12]。

    就国内外对遥感影像的道路信息提取,由于我国起步比较晚,遥感技术层面信息的提取国外目前处于领先地位,但近几年我国遥感技术的发展非常迅猛。对于遥感影像的道路信息提取采用的方法基本原理较为一致,深度学习方面国内外学者齐头迸进。

    对遥感影像的地物信息提取主要分两个方面进行研究,一方面根据遥感图像中不同地物表现出的不同特征,对不同地物的信息分类和提取识别;另一方面基于深度学习,定义特征,建立分类规则,通过分类规则对遥感影像完成分类提取。因此在以上背景下,本文主要借助ENVI软件,以易康(eCognition)软件、ArcGIS软件、百度街景数据、谷歌地图以及实地考察数据为辅助,构造道路材质信息提取的平台,基于规则面向对象对GF-2号影像对道路材质信息进行提取。

    1.3 论文研究内容与结构安排

    1.3.1 论文主要工作

    本文主要基于规则面向对象方法对GF-2号遥感影像进行道路材质信息进行提取。在对GF-2号遥感影像进行分析操作之前,需先进行影像预处理操作,对GF-2号影像进行图像纠正和图像融合等手段,减少遥感影像的一系列误差,增强恢复影像有用的信息并降低影像的失真。通过前人所研究出的分割与分类的方法,最终确定本文对影像的分割方法为多尺度分割,并利用ESP插件工具确定不同材质道路的最佳分割尺度,基于影像的光谱特征、纹理特征和几何特征等信息进行分析,确定规则集以便对影像的道路材质信息的提取,最终实现影像的道路材质信息提取。分析基于规则的面向对象提取不同道路材质信息结果,判别不同材质道路的分类提取的总体精度和Kappa系数,验证本论文所采取的方法的准确性于实用性,为将来道路的规划于建设以及监督在一定程度上提供了基础依据。

    1.3.2 论文结构安排

    依据本论文的研究内容安排,论文总共分五个章节,以下分别是对每个章节的研究内容简述。根据所研究内容绘制本文框架,如图1.1。

    第一章,绪论部分,主要对道路材质信息提取的研究背景和意义进行介绍,以及国内外对道路信息提取分类的方法的研究现状,国内外学者利用多种数据源,从图像的各种特征着手采用不同技术方法不同方向。由此研究背景与发展技术引出本文所利用的合适的研究手段与技术方法。

    第二章,对研究区域和GF-2号遥感卫星的简单介绍,其次介绍高分辨率遥感图像的预处理,包括影像的图像纠正和图像融合。最后为了后期道路材质的提取的准确性,介绍了影像的最佳波段组合。

    第三章,主要介绍基于规则面向对象对道路材质信息进行提取,对道路提取时涉及的各类特征,主要包括面对对象的最优尺度分割,GF-2号影像中的特征分析。依据影像的特征分析,针对不同道路材质信息,制定一系列多层次规则,对不同类型的道路进行提取。并结合实地考察数据进行二次修正,生成最终提取结果。

    第四章,分析道路提取结果,并介绍本文利用的精度评价方法,基于最终各类型道路的分类提取结果进行精度评价,分析评价结果。

    第五章,总结与展望。通过前四章的研究路线与研究成果,获取出本文最终结论,并对本文所研究内容的不足进行阐述,展望后期对道路材质信息提取的发展。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XwwabwJI-1624528666821)(media/5b71eae4a9578bf2d65c384be05569cd.png)]

    图1.1 论文框架

    1.4 本章小结

    本章详细的介绍了遥感影像的道路信息提取的发展进程。如今社会,高分辨率遥感影像已经走进人们的生活,所包含的地物信息也越来越丰富,同时地物的复杂性、多变性对提取增加了一定的难度,因此对其道路信息的提取研究相续开展。国内外的研究提取方法的手段与差异,国内外学者对遥感影像的道路信息的提取的研究依旧在开展着旨在寻求更为简便准确的方法;其次,查阅大量关于遥感影像道路提取,材质识别等相关资料,对目前人们已经掌握的方法进行对比,并提取出本文将采用基于规则面对对象对道路信息进行提取。最后,对论文的整体框架的简述和各个章节的内容进行简单介绍。

    第2章 研究区介绍与数据预处理

    2.1 研究区区域概况

    本文研究区位于河北省唐山市,属于曹妃甸工业区部分区域,相邻天津,地处环渤海中心地带,地理位置位于北纬38。55,12,,~39。9,30,,,东经118。19,23,,~118。39,20,,之间。在本世纪初始,大力发展曹妃甸工业区,填海造地,致力于打造经济发展中心地带。曹妃甸工业区交通道路更是复杂多变,针对本文研究不同道路材质信息提供了优良的信息材料。研究区域具体位置如图2.1。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wYVhhGJ5-1624528666826)(media/c807ac15b01f191592c71a0b11dfe0c2.png)]

    图2. 1 研究区域图

    2.2 数据来源与获取

    GF-2号卫星是我国首颗自主研发具有亚米级空间分辨率,于2014年8月19日成功发射的光学遥感卫星。卫星上有高分辨率1m全色和4m多光谱相机,为从事遥感行业的建设提供了巨大的助力。对于GF-2号遥感卫星的一系列介绍如下表:表2.1
    GF-2号卫星轨道和姿态控制参数、表2.2 GF-2号卫星有效载荷技术指标。

    表 2. 1 GF-2号卫星轨道和姿态控制参数

    参数指标
    轨道类型太阳同步回归轨道
    轨道高度631km
    倾角97.9080度
    降交点地方时10:30AM
    测摆能力(滚动)±35度 机动35度的时间<180。

    表 2. 2 GF-2号卫星有效载荷技术指标

    参数1m分辨率全色/4m分辨率多光谱相机
    光谱范围全色0.45-0.90μm
    0.45-0.52μm
    多光谱0.52-0.59μm
    0.63-0.69μm
    0.77-0.89μm
    空间分辨率全色1m
    多光谱4m
    幅宽47km(2台相机组合)
    重访周期(侧摆时)5天
    覆盖周期(不侧摆)69天

    由于本文基于高分辨率遥感影像进行研究,对于亚米级数据影像属于保密级别,无法自行下载,故本文实验数据(GF-2号遥感影像数据)是由指导老师范老师给予,影像为成像时间2018年4月20号河北省唐山市曹妃甸工业区的GF-2遥感影像数据,用以完成本文道路材质信息提取研究。

    本文研究所需的其他数据,主要还有曹妃甸工业区周围矢量图,百度街景以及后期实地考察所得数据等。

    2.3 GF-2号影像数据预处理

    遥感是利用传感器接受的地物电磁波辐射信息,通过处理,分析以达到所需的要求。可地物的电磁波辐射信息从地表传播到卫星传感器会受到太阳位置、遥感系统、角度条件、地形条件、大气状况、传感器本身性能等一系列方面的影响,这些影响可能会导致遥感影像发生几何畸变和辐射失真。所以为了能够更好的利用地表的辐射信息,需要在对遥感图像进行实验前进行一系列校正处理,既可以排除某些干扰,又可以让遥感图像的数据质量达到需求,获取既拥有高分辨率全色影像特征,又保留低分辨率多光谱特征的彩色高分辨率融合图像,为影像的分割、特征分析、分类提取等后续工作奠定良好的基础。

    2.3.1 辐射定标

    辐射定标过程以传感器记录影像的数字量化值为基础生成影像的绝对的辐射亮度。理论上量化值与地物的辐射强度呈正相关趋势,可由于太阳高度角的变化、传感器本身误差等多种干扰因素的存在,使得传感器记录的量化值无法准确的反映地物的辐射强度,若对原遥感图像不进行处理措施,直接进行分割处理,可能会对后期的结果造成影响。因此,对遥感影像辐射定标是图像处理的起始也是至关重要的一步,另外辐射定标也是为下一步大气校正做准备。

    辐射定标通过线性关系式2.1,利用增量校正系数和校正偏差量对量化值进行转换,生成辐射亮度值。

    式2.1中Gain增量校正系数,Offset为校正偏差量。

    表 2. 3 GF-2号卫星各载荷的绝对辐射定标系数

    卫星载荷波段号GainOffset
    PMS1PAN0.1630-0.6077
    Band10.1585-0.8765
    Band20.1883-0.9742
    Band30.1740-0.7652
    Band40.1897-0.7233
    PMS2PAN0.1823-0.1654
    Band10.1748-0.5930
    Band20.1817-0.2717
    Band30.1741-0.2879
    Band40.1975-0.2773

    基于ENVI平台,利用Radiometric
    Calibration工具对GF-2号影像辐射定标。ENVI5.x软件可以自动读取影像文件中的定标参数。对于多光谱影像,由于后续需要进行大气校正处理,定标类型需以辐射亮度值为标准进行定标[13]。考虑到后期图像融合,全色影像须与多光谱影像辐射量度值保持一致。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wU3pF8dz-1624528667932)(media/0a700ea623c7629e00954d9d32cdc2ce.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LWWAXEaO-1624528667935)(media/1d8f1e091095ebbee523f67d2f04c274.png)]
    (a)多光谱原图像(b)全色原图像
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p2lLA3GS-1624528667939)(media/b37b3554dd9a5128fbcae739213ad7f7.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DXakMOqr-1624528667945)(media/152f3eb91305422e323fcadcbea059b2.png)]
    (c)多光谱影像辐射定标结果(b)全色影像辐射定标结果

    图2. 2 GF-2号影像辐射定标结果图

    从图2.2可以清晰的看出辐射定标后的影像亮度发生了变化,辐射定标后影像在色调上相比于原图像对比度更强,地物之间的差异变大。通过查看波谱曲线,辐射定标后的数值主要集中在[0,10]。

    2.2.2 大气校正

    大气校正主要是将辐射亮度或者表面反射率转换为地表实际反射率。遥感影像在形成的中,地物反射的电磁波信息由于大气中微粒的存在,会产生一系列大气吸收、散射、反射,导致接受的地物反射的电磁波信息并非真实。大气校正以辐射定标为前提消除大气散射、吸收、反射和光照等多种因素的影响。大气校正涉及到DN值与辐射亮度的转换公式:

    式(2.2)中为波段λ的辐射亮度值,k和c为增益与偏移。

    基于ENVI平台,利用LAASH大气校正工具对GF-2号影像进行大气校正处理。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xM6bacYO-1624528667949)(media/b37b3554dd9a5128fbcae739213ad7f7.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kNuidlpt-1624528667952)(media/5a558ac146ade296c58d035788ffa61f.png)]
    (a)大气校正前图像(b)大气校正后图像

    图2. 3 大气校正前(a)后(b)影像图

    2.2.3 正射校正

    正射校正是对影像几何畸变纠正进行处理,生成多中心投影平面正射图像的过程,此处理过程对地形、传感器几何特性以及传感器相关误差所导致影像的几何畸变进行校正处理。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eFAVhW8f-1624528667957)(media/5a558ac146ade296c58d035788ffa61f.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hLPSDA7a-1624528667960)(media/152f3eb91305422e323fcadcbea059b2.png)]
    (a)正射校正前多光谱图像(b)正射校正前全色图像
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-daklA405-1624528667962)(media/1058ddf76cd07446d003d9bf7ab92af1.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-svysq24c-1624528667967)(media/1719256b88fe4f3b9269ae598ccac787.png)]
    (c)正射校正后多光谱图像(d)正射校正后全色图像

    图2. 4 正射校正前后影像图

    基于ENVI平台,利用RPC Orthorectification Workflow
    工具完成影像的校正。此工具利用的是RPC模型,RPC模型应用比较广泛,具有一定的代表性,特别是该模型坐标系独立存在。可查看图像数据的RPC信息对正射校正参数进行设定,获取正射校正后的多光谱和全色影像,如图2.4。

    由图2.4结合ENVI平台可以看出影像的位置及形状进行了一个微调,使得影像中像元的位置与实际地物位置降低误差。

    2.2.4 图像融合

    影像的融合是按照一定的规则和算法,将单一传感器的多波段信息或者不同类别传感器所提供的信息加以综合,融合后的图像具有新的空间、时间、以及波谱分辨率,进而查漏补缺,利用不同数据的优势,弥补单一数据源的短板,信息量比融合前的的单一数据更加丰富、更加准确,提高遥感数据的实用性。本论文是将多光谱影像与全色影像进行融合,生成空间分辨率高且具有颜色及空间拓扑关系的纹理特征的影像。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jyCP3Odu-1624528667970)(media/1058ddf76cd07446d003d9bf7ab92af1.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H0oqQVpk-1624528667974)(media/1719256b88fe4f3b9269ae598ccac787.png)]
    (a)融合前已正射校正的多光谱图像(b)融合前已正射校正的全色图像
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SrwBuHMk-1624528667978)(media/96b5ac3d4f7410c9ba7e5c2526815b18.png)]
    (c)GS融合图像

    图2. 5 影像融合前后对比图

    随着遥感技术处理的发展,对于影像的融合已经研究出多种算法了,目前应用比较多的算法有,主成分变换(PCI)、HIS变换、NNDiffuse、Gram-Schmidt(GS)、CN和Brovey变换等[14]。通过阅读文献,对比不同融合结果,发现利用GS融合方法所得图像的地物分辨率更为清晰,颜色纹理清晰。本文最终选择GS融合方法,基于GF-2号影像研究,以全色影像为基准,对多光谱影像进行配准融合,获取到分辨率更高、地物包含信息更加丰富的影像,如图2.5。

    对比融合前后影像可以清晰看出融合后的图像不仅具有全色影像的高分辨率,还具备多光谱影像的颜色纹理,为后期道路分类提取奠定了良好的基础。

    2.4 最佳波段组合

    为了能够充分准确利用高分二号影像的特征信息,对不同波段的选择组合就显得尤为重要。最佳波段的选择是有效的对遥感影像在一定程度增强处理,对后期的道路材质识别有重大作用。

    基于影像的最佳波段选择,必须保证所选波段信息量丰富、波段之间的相关性小和波段组合对道路与非道路之间光谱差异大等条件。相对于通过各个波段信息量的对比、波段之间相关性的对比、波段指数法和各波段的协方差矩阵特征值法进行选取最佳波段组合来说,最佳指数法(OIF)利用各波段标准和相关性相结合来确定最佳指数因子,进而来确定最佳波段组合显得更为精准[15]。OIF的计算公式如下:

    式(2.2)中第i波段的辐射亮度值得标准差;代表i和j波段之间的相关系数;m代表波段合成的总数。

    利用该ENVI软件对研究区域的各个波段的光谱特征进行统计,快速统计各个波段的最大值、均值、标准差,如表2.4。

    表 2. 4 研究区GF-2研究光谱特征统计表

    波段最大值均值标准差
    Band12121407.55269.40
    Band21599284.70194.37
    Band31457214.61167.92
    Band41189121.16119.21

    可以清晰得到Band1在均值,标准差均最大,代表亮度值高,信息量大,分离效果最好。理论上最佳波段组合含有Band1,为了准确性,需要继续以下验证。

    表 2. 5 研究区GF-2波段之间相关系数矩阵

    波段Band1Band2Band3Band4
    Band11.0000.9940.9470.845
    Band20.9941.0000.9680.870
    Band30.9470.9681.0000.956
    Band40.8450.8700.9561.000

    利用各个波段之间的光谱差异,统计波段之间的相关系数,如表2.5。

    查看上表,可以得出Band4相关系数最小,理论上最佳波段应该选取321波段。为了精准选取,利用OIF计算以确定最佳波段组合。通过OIF计算公式,计算波段组合的最佳指数,统计形成表格,如表2.6。

    表 2. 6 研究区GF-2多光谱数据波段组合的最佳指数

    波段组合标准差和Si相关系数和RijOIFOIF排序
    123631.692.941214.791
    124582.98‬2.839208.522
    134556.202.792199.213
    234481.52.786172.8284

    通过表2.6可知,OIF(123)的值最大,可以确定波段321的组合为最佳波段组合。可以通过目视解译,对不同波段组合进行比对,验证波段321组合是否为最佳组合波段,如图2.6为不同波段组合对比图。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L3EC76db-1624528667981)(media/b2deb25258f8242592dbfd57e49d0597.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uupMiDGO-1624528667983)(media/cf95581c10cf409932edb83d98dd703b.png)]
    (a) 波段321假彩色合成(b)波段421假彩色合成
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6f1fg4Ru-1624528667985)(media/706252215c021457ad9d25f3c495489c.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SexLVRLs-1624528667988)(media/d5e034e96d85cfca7ddd37f88200317f.png)]
    (c)波段431假彩色合成(d)波段432假彩色合成

    图2. 6 GF-2号影像不同波段组合

    结合最佳指数法和目视判读,321组合波段具有很好的呈现出地物特征,更好的表达地物真实信息。最终确定321波段为最佳波段组合,最佳波段的选取有助于后期道路解译信息提取的顺利进行。

    2.5 本章小结

    本章首先介绍了研究区概况和本文研究所用的数据介绍。其次介绍为了后期道路材质信息准确提取需对研究区域影像进行预处理流程,包括影像的图形纠正和后期影像的融合。通过波段的光谱均值及波段之间的相关性,并对比不同波段组合影像,确定最佳波段组合,为后期精准提取道路信息做铺垫。

    第3章 道路材质信息提取过程

    基于规则面向对象对遥感图像道路材质信息分类提取,在提取过程需进行大量的参数设定,对参数的准确设定,结合国内外学者多年的研究与本次试验区数据,选取最佳参数对图像中道路材质信息进行提取。

    3. 1 最优分割尺度

    现阶段,遥感影像的分辨率越来越高,所包含的信息也越来越多,干扰因素也随之增多,针对高分辨率遥感影像经过长时间的探索,Baatz
    M等人提出面对对象的提取理念,从高分辨率遥感影像上更加清晰提取地物信息[13]。影像分割作为遥感影像信息解译的第一步更是尤为关键重要的一步。基于多尺度分割,相对于其他的提取方式来说,精度于分割结果更为准确有效,它有效利用遥感影像的影像亮度值、纹理和形状颜色等特征值[17]。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uelmYDrP-1624528667990)(media/295e3f0b89c999d387a65c18f841014c.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JhSSnqO2-1624528667991)(media/a461bce452f2eea947bdcad7a971e400.png)]
    (a)沥青道路(b)裸土道路
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JQKSAwxM-1624528667993)(media/6c6ccbf7f3c1e0650617ed361ead97d4.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-owKRtHR9-1624528667995)(media/c2fac68aea4f2e0f98a8aa3a66546078.png)]
    (c)水泥道路(d)铁路

    图3. 1 各道路类型局部方差与尺度分割关系图

    尺度分割时最佳分割尺度显得尤为重要。通过阅读对比不同尺度分割方法,最终确定本文对遥感图像分割时采用多尺度分割方法,通过均值方差法以确定最优分割尺度。本文利用易康软件ESP插件对影像使用三个层次的不同增量对分割尺度进行优化分析,局部方差整体上随分割尺度增大而增大,当变动率由增变减或者由减变增,此时分割地物尺度大小其与真实的地物大小相匹配,此时的分割尺度为最优分割尺度。基于易康软件的ESP插件工具对研究区进行分析,生成局部方差与尺度分割相关关系图,如下图3.1为不同道路类型局部方差与尺度分割关系图。

    由上图可以观察出各类型道路的分割尺度随局部方差变化而变化,取分割尺度的极大值为最佳尺度分割,可以发现各类型道路有多个分割尺度极大值,对比不同分割尺度极大值,最终确定沥青道路最佳尺度分割为75;裸土道路的最佳尺度分割为39;水泥道路的最佳分割尺度为70;铁路的最佳分割尺度为50。

    3.2 纹理特征

    纹理特征通过灰度的空间变化及其重复性来反映地物的视觉粗糙度、影像的空间分布信息和结构。纹理是影像的一个重要空间信息,可作为影像中地物识别与分类重要依据之一。分析遥感影像的纹理特征,对各道路材质信息的提取是关键的一步。由于原GF-2号遥感数据图像过于庞大,若对整景图像进行纹理特征提取需要庞大的时间,并且效率低下。针对此问题,把整景图像裁剪为多份且具有代表性以及拥有丰富地物数据的图像,以便进行纹理特征的提取,大大提高了提取效率。同时,由于图像的裁剪时,选择具有代表性尽量避免可以图像上一些通过目视解译的干扰目标,可以提高纹理特征的提取结果准确性。

    表3. 1 同质性 对比度 信息熵 纹理特征计算值

    纹理特征公式应用意义
    同质性Homogeneity同质性反映出灰度共生矩阵中对角线部分集中较大元素值的程度,也就是反映了遥感影像的均调性。同质性越大,表示对角线部分集中较大元素值越大,遥感影像的均调性越好。
    对比度 Contrast Retio对比度的大小表示遥感影像的局部变化的大小,对比度越大说明遥感影像上地物分布清晰
    信息熵 Entropy信息熵表达了遥感影像纹理特征杂乱程度或者均匀程度,图像中各类元素分布范围大,不集中时,信息熵值相应的比较大。

    阅读多篇关于纹理特征提取文献的介绍,并进行实验预测,得出利用统计数据法中灰度共生矩阵法(Gray-Level
    Co-occurrence
    Matrix,GLCM)对曹妃甸试验区进行纹理特征提取效果最好。基于Haralick提出的均值(Mean)、协方差(Variance)、同质性(Homogeneity)、对比度(Contrast)、信息熵(Entropy)、二阶矩(Second
    Moment)、相关性(Correlation)、差异性(Dissimilarity)八种纹理特征值[19]。基于各个专家的研究成果,决定本次利用同质性、对比度、信息熵三种纹理特征值对研究区域进行计算[20]。此三者纹理特征值计算公式如表3.1。

    通过同质性、对比度、信息熵三者表达图像各地物纹理值的差异。如图3.2分别为GF-2号影像的同质性、对比度、信息熵纹理值的计算结果。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Cb4vplwy-1624528667997)(media/e688d2ac6e095aaddf688559f511d6a2.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kNSNhwFN-1624528667999)(media/64a129968b63c74a6fa15dd63377b861.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cDpM1jjM-1624528668000)(media/740fd81facb680f1b882312c01e67996.png)]
    (a)同质性(b)对比度(c)信息熵

    图3. 2 GF-2号影像纹理特征值

    为后期对道路材质识别提取时更好的得到理想的研究结果,需要对各个道路材质类型(水泥道路、沥青道路、铁路、裸土道路)通过目视解译和光谱特征对影像进行采样以便决定各个材质的纹理值的范围。如表3.2为各个不同道路进行采样结果的分离性分析。

    表3. 2 各道路类型样本之间的分离性

    道路类型铁路沥青道路裸土道路水泥路
    铁路---------1.8161.9941.955
    沥青道路1.816---------1.9701.888
    裸土道路1.9941.970---------1.860
    水泥路1.9551.8881.860---------

    利用Jeffries-Matusita Transformed
    Divergence(J-M距离)可分离指数进行表述样本之间分离性,当值大于1.9时代表两样本之间的分离性良好可以作为合格样本;小于1.8表示两样本分离性不高,小于1可以考虑将两样本进行合并处理。图表中可以观察到铁路与沥青道路之间的分离性不高,由于铁路是由两根铁轨组成中间部位一般由石子填充,导致样本选择时会或多或少掺杂进去其他元素。对于此类情况尽量多选,小面积以此减小误差最终与其他样本的的分离性控制在1.8左右。

    利用二阶概率统计(Co-occurrence
    measures)工具通过信息熵、对比度、同质性三种纹理特征值计算,并通过所选各个道路材质类型,生成纹理影像。统计各道路材质纹理特征的均值,如表3.3。并生成折线图,以便观察,如图3.3。

    表3. 3 纹理影像中不同道路类型纹理特征均值表

    类别特征值Band1Band2Band3Band4
    铁路信息熵3.48413.50543.44233.3563
    对比度31.755633.423328.846521.2976
    同质性0.30540.29900.31860.3468
    沥青路信息熵1.95141.95662.00921.8064
    对比度1.45921.47231.72121.2694
    同质性0.7366.0.73810.73010.7651
    裸土道路信息熵2.26252.20292.09142.1292
    对比度8.86779.09709.37509.6718
    同质性0.69540.70430.72020.7204
    水泥路信息熵3.51133.51513.43933.3533
    对比度11.863911.89279.90548.0799
    同质性0.41310.41460.43630.4603

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zNe7z48O-1624528666833)(media/f2cba8392ee2343da00d2cad040f30e4.png)]

    图3. 3 纹理影像中不同道路类型纹理特征均值

    根据表3.3数据可以确定各材质道路的纹理特征值差别,制定一系列规则,对下一步道路材质信息进行提取奠定了基础。由图3-3可以清晰的观察出Band1、Band2、Band3和Band4四个波段中,Band2相比较另外三个波段的纹理差值更大,可以利用此点对道路信息进行有效的提取。就特征值差值来言,对比度在各个波段上的数值比较大,并且差值也比较明显,对后期规则的设定相对也比较更有利于不同道路的提取。

    基于Band2与对比度对道路信息进行提取,再进行细节的分析。铁路与另外三种材质道路相比,
    信息熵、对比度、同质性三者数值都远高于另外三种道路材质;沥青道路和铁路的纹理特征值恰恰相反,远远低于另三者;水泥路与裸土道路的纹理特征比较相近,可它们的光谱差异比较大,故有效结合光谱特征与纹理特征可以有效的弥补彼此的不足,更为准确的对道路材质信息的提取。

    3.3 光谱特征

    自然界中任何地物自身皆具有一定的辐射规律,光谱信息能够直观的反映出地物在各个波段的光谱反射。基于目视解译在高分辨力遥感影像中可以通过地物光谱信息对地物进行辨别以及提取。

    无论是基于像元分类还是面向对象,都依据地物的光谱特征值进行选取样本。不同的地物在影像上的灰度值有一定的差别,因此图像会呈现不同的亮度或色彩。结合GF-2号遥感影像和曹妃甸的百度地图街景图,划分了七种地物类型,根据地物分布区域,分别选取大量样本,如下3.4表介绍不同地物选取样本数量。

    表3. 4 不同地物选取样本数量

    地物类型样本数量
    沥青道路59
    裸土道路60
    铁路45
    水泥道路60
    未利用地80
    建筑物60
    水体60

    利用所选取的样本分析计算,统计研究区各地物光谱特征均值,统计数据如下表3.5;并绘制各地物光谱特征曲线图,如下图3.4。

    表3. 5 研究区各地物光谱特征均值

    地物类型Band1Band2Band3Band4
    沥青道路605.584425.346361.239235.038
    裸土道路686.747529.435480.673324.218
    铁路599.052408.361319.771195.427
    水泥路706.877519.456456.449302.508
    未利用地565.424396.414340.403250.385
    建筑物825.752424.774288.766378.974
    水体583.553411.383274.764105.86

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QQQPWVeE-1624528666838)(media/aaae1d8d5be4089c4e178f0b54beddef.png)]

    图3. 4 各地物光谱曲线值

    从表3.5和图3.4可以分析GF-2号图像上各地物的光谱均值的差异。由于不同区域实际状况具有极大差异,结合研究区域2018年实际状况进而分析。

    正常情况,建筑物与水泥道路的光谱值会很相近,可由于研究区域为曹妃甸工业区,大多数建筑物由铁皮包裹,导致水泥路与建筑物的光谱值差异较大,使对水泥道路提取时降低了干扰。结合图表可以确定,在波段1>800,波段4>370左右,可以有效剔除建筑物。

    居民地间的裸土道路由于经常性碾压,以及道路的复杂性和后期居民为便利,会在道路上铺撒小石子,这些情况导致裸土道路转化为半裸土道路,光谱曲线发生巨大变化,会和水泥道路的值相近。田地或池塘部分裸体道路和未利用地又十分接近,故仅依靠光谱特征无法区分提取裸体道路道路。

    相比于其他道路最为特殊且复杂的铁路提取时需考虑更多因素。铁路的组成尤为特殊,铁轨、水泥以及石子。又由于GF-2号影像分辨率无法达到所需,导致铁轨道路的光谱曲线与水泥、裸土和未利用地错综交接,唯一差距铁路波段4的光谱值与其他地物差异较大,可粗略设定波段4的范围[290,320],后期进行微调。

    总体来看,仅仅依靠光谱特征,无法将所有的道路类型进行提取出来。依靠纹理特征、光谱特征以及几何特征进行结合分析,可以有效且准确的进行道路类型的提取。

    3.4 基于面向对象对道路材质的提取

    基于最佳分割尺度参数的确定,对影像进行分割,输出Region Means影像[21],在Region
    Means影像基础上进行规则的设定对道路材质信息的提取,这一过程需要设定大量的规则来剔除非有效信息,保存所需信息。基于研究区域的真实环境因素与实际情况,主要提取沥青道路、水泥道路、裸土道路和铁路四种道路。本文基于规则面向对象进行分类提取,规则的建立紧紧依附于光谱特征、纹理特征以及几何特征,又由于研究区域鱼塘水体的存在,规则的建立还依附于归一化差分水体指数(NDWI)[22],充分运用前人所总结的知识与实际情况对道路材质信息完成提取。

    3.4.1 裸土道路的提取

    裸土道路相对于其他三种道路材质具有多变性。由于裸土道路的不规则化,周围干扰因素众多,都会大大加大裸土道路的提取。研究区裸土的道路主要分布在鱼塘与居民区,分布于鱼塘之间的道路相对更单一,居民区之间的道路上覆盖或者连续性比较差,且后期加工,导致需要依据各特征制定更多的规则进行提取。通过规划NDWI的范围将鱼塘和河流等水体剔除。查阅文献发现对于水体的NDWI普遍大于0.4左右,再结合研究区的实际情况,反复试验,最终确定NDWI小于0.3353时可以有效剔除鱼塘的区域;根据第三节的裸土道路的遥感光谱特征,反复调整,确定483.9<Band3<612.03可以有效区分其他道路类型的干扰;利用几何空间特征,由于裸土道路的复杂性,分布不均匀等原因,导致在利用几何特征区分时具有很大的局限性,结合研究区域遥感影像和百度街景,以及反复实验,最终设定面积大于15,延伸性大于2.8,矩阵小于0.69,可以有效区分出建筑物。如表3.6为对裸土道路提取设定的所有规则。图3.5为裸土道路最终提取结果。

    表3. 6 裸土道路提取规则表

    地物类型规则属性作用
    裸土道路规则一0.02708<NDWI<0.3353滤除水体
    规则二483.9<Spectral Mean(Band2)<612.03区别不同类型道路
    规则三Texture Contrast(Band4)>9.4
    规则四Area>3000剔除小面积图斑以及小型建筑物
    Elongstion>2.8剔除延伸率过于低的地物
    Rectangular Fit<0.69剔除大型建筑物
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZW84m0Zy-1624528668003)(media/c386d880e3a9e9565d94349ed2c4548e.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1k6mfdKq-1624528668006)(media/e769a280d7fed3cad4ff2ab71b3a9815.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wF54OCJt-1624528668008)(media/1145a6e0ce202db0e8c21589e7a2f005.png)]
    (a)原始图像(b)分割提取(c)裸土道路提取结果

    图3. 5 裸土道路提取过程图

    以裸土道路为提取对象,基于纹理特征、光谱特征、几何特征和衍生数据(NDWI)对遥感图像进行提取,整体上提取效果比较合适,可对于一些局部地区有一定的误差,比如农家小道短小,会产生误剔除,影响整景图像的观感。针对这个问题可以经过ArcGIS软件手动修改。

    3.4.2 沥青道路的提取

    在对沥青道路的提取时,其光谱特征信息与其他地物相近无法直接提取,首先控制波段3在[340,400]范围,提取沥青道路与部分水泥道路与未利用地;借助衍生数据NDWI限制范围划分水体池塘,确定在[0.02708,0.3353]范围内(与裸土道路剔除水体保持一致);借助同质性计算的纹理特征值,在Band1波段与水泥路和铁路的差别,提取沥青道路。最后,利用几何特征中面积、矩形拟合、延伸率、长度等特征剔除干扰地物。如3.7表为对沥青道路提取设定的所有规则。下图3.6为沥青道理提取结果图像。

    表3. 7 沥青道路提取规则表

    地物类型规则属性作用
    沥青道路规则一340<Spectral Mean (Band3)<400提取沥青道路与部分地物
    规则二0.02708<NDWI<0.3353剔除水体
    规则三Homogeneity<3区分水泥路
    规则四Area>3000滤除面积不适图斑
    Rectangular Fit<0.69剔除矩形建筑物
    Elongation>3剔除延伸率过低的地物
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Fv4PskCU-1624528668010)(media/14bc87f746b4c617fe7d386abf6748b6.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pgBOsLzv-1624528668012)(media/ef88c57851d85b0b751e604fd226fb15.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gpm8fKBE-1624528668019)(media/2cf5ccf1a1b6028607de06400d0bbdc8.png)]
    (a)原始图像(b)分割提取(c)沥青道路提取结果

    图3. 6 沥青道路提取过程图

    以沥青的道路为提取对象时,虽然基于最佳尺度分割,但依旧存在部分分割错乱的产生,需要后期结合实地考察或者百度街景进行分析,利用ArcGIS软件进行矢量修改,以达到最高标准,实现道路提取的高准确率。

    3.4.3 铁路的提取

    对铁路的提取主要依靠纹理特征进行设定规则,以几何特征与光谱特征为辅助提取。结合裸土道路与沥青道路的提取,利用NDWI<0.3353剔除水体的干扰;铁路在各个波段上纹理特征对比度远远高于其他道路类型,反复调试,确定Texture
    Contrast的范围,结合在Band1和Band2光谱曲线低于其他地物,以此可以进行铁路道路的粗略提取;最后调试几何特征值。下表为铁路道路提取的全部规则。

    表3. 8 铁路提取规则表

    地物类型规则属性作用
    铁路规则一0.2708<NDWI<0.3353剔除河流
    规则二25<Texture Contrast(Band1)<35区分其他类型地物
    30<Texture Contrast(Band2)<35
    25<Texture Contrast(Band3)<39
    20<Texture Contrast(Band4)<30
    规则三Spectral Mean(Band4)<220区分其它地物
    规则四Area>3500滤除面积不适图斑
    Rectangular Fit<0.69剔除矩形建筑物
    Elongation>3剔除延伸率过低的地物

    以上述规则进行对铁路的提取,提取结果如下图3.7。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nqP1dMuG-1624528668021)(media/81d601291aceac1ea58b00dc5ca6fae5.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gJmgI0m5-1624528668023)(media/b73baf7dea436b6773f37cb56bd89ce7.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-V1NhMGcK-1624528668025)(media/67f14e732891f7f62284e7a64d3065cd.png)]
    (a)原始图像(b)分割提取(c)铁路提取结果

    图3. 7 铁路的提取过程

    由于铁路上的复杂性,导致在提取时会误提一些其他的地物,经过反复实验无法从规则制定上剔除杂物,只能后续手动修改矢量文件进行剔除,以便提升铁路提取的准确性。

    3.4.4 水泥道路的提取

    针对水泥道路的提取,无论是从几何特征分析还是从光谱特征分析,都受到沥青道路的干扰,因此首先区分与水泥道路和沥青道路不相关,以区分的其他地物。首先区分水体与非水体,调试NDWI<0.3353,以达到去除水体的干扰;由于建筑物的亮度比较高,可以设定各个波段的限定值用以去除建筑物,经过反复调试,Texture
    Contrast(Band1)<700, Texture
    Contrast(Band2)<500不仅可以去除建筑物的干扰还可以去除许多小的干扰地物。对于水泥路与沥青道路的分类,基于纹理的信息熵,水泥路的纹理信息熵远低于沥青道路,可以有效分离出水泥道路;最后根据几何特征中延伸率、面积、长度、矩形拟合等进行最终提取。下表3.9为水泥路的全部规则表。

    表3. 9 水泥道路提取规则表

    地物类型规则属性作用
    铁路规则一0.2708<NDWI<0.3353剔除河流
    规则二Texture Entropy (Band1)❤️区分其他类型地物
    Texture Entropy (Band2)❤️
    规则三400<Spectral Mean(Band3)<480区分水泥道路及裸土道路与其它地物
    300<Spectral Mean(Band4)<340
    规则四Area>3000滤除面积不适图斑
    Elongation>3剔除延伸率过低的地物

    以上述规则进行对水泥道路的提取,提取结果如下图3.8。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OcIKvy1V-1624528668031)(media/f2b037bc6bac45d4a39afbdef0163e12.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DcFn8ANb-1624528668035)(media/87f655e714acf66b6a8f47726ae4a52c.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XvylKQOL-1624528668036)(media/1a7281b4e2f6d027df747f5c54c43424.png)]
    (a)原始图像(b)分割提取(c)沥青道路提取结果

    图3. 8 水泥道路提取过程

    从目视解译上看图3-7,可以看出水泥路的提取效果比较由于其他道路类型的提取要提升一个档次。

    3.5 实地考察验证及修正

    为了验证所提取结果的准确性及完整性,进行了实地考察验证。由于本文利用的是2018年的GF-2号影像数据,距离现在已有三年之久,所以实地考察数据需要依据最近几年的变迁进行参考。下表3.10位研究区所提取道路的影像与实地考察道路的对比图。

    表3. 10 研究提取道路与实地考察数据对比

    考察道路类型道路提取结果影像实地考察影像实地特征
    沥青道路(39。1,29.91,,N,118。29,6.49,,E)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0NNXPK4g-1624528668038)(media/ef88c57851d85b0b751e604fd226fb15.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h2YQzVer-1624528668039)(media/eba351e24bfab1f2b2f58de1e7a7be29.jpeg)]通岛路与博学道交叉路口,四周建筑物比较稀少,道路属于沥青道路
    裸土道路(39。3,35.45,,N,118。22,8.13,E)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GAYuJXza-1624528668041)(media/e769a280d7fed3cad4ff2ab71b3a9815.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BFbqGQ1k-1624528668042)(media/acb8a038e0bbe68df60755efb7534681.jpeg)]南堡养职场,周围以池塘养殖虾苗和种植水稻为主
    水泥道路(39。1,13.15,,N,118。32,11.79,,E)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YaeJa2GQ-1624528668043)(media/87f655e714acf66b6a8f47726ae4a52c.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cfI8tps8-1624528668045)(media/66cc708b254036648097d18e39ce1282.jpeg)]道路名称为展望路,四周正在建设,属于建设用地
    铁路(39。1,11.09,,N,118。26,7.25,,E)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-99yqx1nx-1624528668046)(media/b73baf7dea436b6773f37cb56bd89ce7.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tERrxSH3-1624528668048)(media/d2196f8c5b41548d471994b34be3f082.jpeg)]曹妃甸港开往唐山市的铁路,属于桥上铁轨,从河上架桥通过

    对比研究提取的各类型道路与实地考察道路。虽然本文利用的GF-2号影像为2018年的,但对比2021年实地考察的数据发现道路周围发生巨大变化,可道路未发生较大的变化,可作为参考数据进行对比。对比两者发现,本文道路材质提取结果比较乐观,对于多处考察结果与研究提取结果一致。但依旧存在部分误差,对于道路的一些断裂问题,多处实地考察发现道路由于多年失修出现损坏或者道路上多次修理覆盖以前道路等原因,虽然有可能道路真实断裂,但此次考察未发现此种原因,对于后期修正不可贸然修改。

    基于实地考察数据虽表明本文研究提取结果良好,但依旧需基于ArcGIS软件和实地考察对道路材质信息提取影像进行修正,以更贴合实际提高准确率。本文利用ArcGIS平台工具对提取结果进行分析修正,并对相应设定的规则进行一定的修改。修正结果如下图3.9。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-shJ5GTMc-1624528668050)(media/b593aca5b979562e935bf1684fa2142b.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ywlTlVrJ-1624528668052)(media/efb05e64537e8a7df69226e1266b0260.png)]
    (a)水泥道路(b)裸土道路
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vKIXxf3z-1624528668053)(media/2e705b7c998fc2160b4822af3a086f09.jpeg)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-z52YHT5P-1624528668055)(media/908db90256f6f0d77d1d31b54fa339f6.jpeg)]
    (a)水泥道路(b)铁路

    图3. 9 各类型道路修正结果

    3.6 本章小结

    本章主要介绍道路材质信息提取过程,首先基于目标对象的均值方差确定最佳尺度分割,基于各类道路与其他道路的光谱差异,纹理特征的和几何特征之间的差异,进行规则设定建立,用以提取各类型道路。在提取的过程中,对比不同道路类型提取的规则,利用之间的差异性,对道路类型的提取有大大帮助。基于纹理特征、光谱特征、几何特征最终结合实际影像设定针对不同类型道路的规则,最终提取出不同道路的材质信息。最后实地考察验证各类型道路提取结果,并进行修正。

    第4章 道路材质提取结果及精度分析

    基于ENVI平台及第3章节对各类型道路的规则详细准确设定,对整景影像进行道路分类提取。并对影像道路材质信息的提取结果基于实际情况进行精度分析,本质是利用实验结果与地表真实数据进行比较,评价相似程度,以确定提取结果的准确性及可靠性的评估。本文主要采取混淆矩阵(Confusion
    Matrix)和Kappa系数进行精度评价。

    4.1 道路材质信息提取结果

    基于ENVI平台,利用基于规则面向对象流程工具对研究区域进行提取。并根据实地考察结果对规则设定进行适当调整。最终提取结果如图4.1。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FFTaxeR7-1624528666841)(media/4353eadf140ca0f058ee9b72634535c3.png)]

    图4. 1 研究区各道路类型提取结果图

    由图可知本次研究主要对河北省唐山曹妃甸工业区作为研究区域,对其进行裸土道路、沥青道路、水泥道路和铁路进行分类提取。从图4.1可以清晰的看出研究区各类型道路分布情况。研究区域属于工业区域,道路主要为货车运输通行,故道路主要以沥青道路与水泥道路为主;研究区域又由火车轨道贯穿,部分区域裸土道路穿插在其中;对于裸土道路最多的区域主要分布在鱼塘周围和村庄房屋之间。本文利用GF-2号影像为2018年影像,对比与本次实地考察,道路变化并不太明显,可道路周围的建设发生了巨大变化,相信在不久的将来道路将会进入一个新层次。

    4.2 精度评价方法

    (1)混淆矩阵

    混淆矩阵(Confusion Matrix)又称为误差矩阵(Error
    Matrix),原理上将实验提取与实际情况相验证,组成n行n列的矩阵,如表4.1,进而进行验证以分析实验精度。一般设定阵列中行代表为实验提取的结果,列代表为表示实际参考数据[23]。

    表 4. 1 混淆矩阵

    类型预测行总计
    类1类2……
    实际类1X11X12……X1nY1
    类2X21X22……X2nY2
    …………………………Yi
    类nXn1Xn2……XnnYn
    列总计X1X2……XnP

    通过混淆矩阵可以实际得到分类的总体精度、用户精度和生产者精度,计算公式如下表4.2。

    表 4. 2 精类型介绍

    精度类型计算公式含义
    总体精度 Overall Accuracy表示分类精度,P表示检验点总数,表示第i行第i列的检验点点数,n表述地物类型
    用户精度 User,s Accuracy表示用户精度,表示第i行第i列的检验点点数,表示第j列的总检验点数
    生产者精度 Producer,s Accuracy表示生产者精度,表示第i行第i列的检验点点数,表示第i列的总检验点数

    (2)Kappa系数

    Kappa系数是可以全面反应分类精度的一种参照指标。对具体的分类精度更加全面,客观[24]。计算公式如下:

    以此公式为依据,可以确定Kappa系数,Kappa系数分为五个档次,如下表4.3。

    表 4. 3 Kappa系数评价

    Kappa系数评价标准
    0分类结果随机生成,与参考数据没有一致性
    (0,0.4)分类结果与参考数据一致性很差
    [0.4,0.75)分类结果与参考数据一致性一般
    [0.75,1)分类结果与参考数据一致性较好
    1分类结果与参考数据完全一致

    4.3 精度评价结果

    基于混淆矩阵,Kappa系数对提取的道路类型进行验证分析。基于各道路类型提取结果在原图像上划分感兴趣区域,生成xml文件,作为需要验证的数据。由于没有真实的参照数据,需要自行划分,生成参照数据。本文利用百度街景地图和谷歌地图结合原图像以及网络实地照片,对地图划分各道路类型区域,作为参照数据。基于ENVI平台,利用Confusion
    Matrix Using Ground Truth ROIs工具进行混淆矩阵分析,生成矩阵表4.3。

    表 4. 4 各道路类型道路提取结果混淆矩阵

    像元数研究提取道路结果用户精度
    真实道路道路类型沥青道路裸土道路水泥道路铁路总计
    沥青道路997701401701028796.99
    裸土道路011552221137883.82
    水泥道路357017760188194,42
    铁路100001440154093.51
    其他1652402435464
    总计1027714652162164615550
    生产者精度97.0878.8482.1587.48
    总体精度=14348/15550=92.2701% Kappa=0.8534

    从表4.4可知各道路材质信息提取总体精度为92.2701%,Kappa系数为0.8534表明提取结果与参考数据一致性较好。沥青道路、水泥道路和铁路的用户精度与生产者精度均在80%以上。裸土道路相对来说精度比较低,裸土道路复杂性高与各地物混乱掺杂等原因导致此情况。

    4.4 本章小结

    本章主要分析整域影像道路材质提取结果,另外介绍了混淆矩阵和Kappa系数,并以此对影像的道路材质信息提取结果进行验证分析,总体精度与Kappa系数分别达到92.2701%和0.8534。

    第5章 结论与展望

    5.1 结论

    遥感卫星技术的突飞猛进,使获取的影像数据逐步清晰起来,甚至达到亚米级别。如何从高分辨率影像中获取道路信息一直是前沿热点,精度更高分辨率的影像的产生对道路信息高效和准确提取奠定了重大基础。基于此背景下,本文基于曹妃甸地区2018年GF-2号卫星影像,利用基于规则的面向对象处理提取曹妃甸不同道路材质信息,主要完成的工作如下:

    (1)查阅相关文献,分析介绍国内外对遥感影像道路信息的提取,提出本文利用基于规则面向对象的提取方法对道路材质信息进行提取,通过影像的光谱特征、纹理特征和几何特征设定详细的规则,以此规则对不同类型的道路进行提取。

    (2)在对影像中道路材质信息提取之前进行预处理,并利用最佳指数法对影像的波段组合进行分析,得出结论最佳波段组合321。

    (3)道路提取之前除了预处理部分,还需要对光谱特征、纹理特征进行分析处理。其中利用包含信息最丰富的Band1可以有效分离多种道路类型;纹理影像最佳特征为对比度,在制定规则时占据不可或缺的位置。

    (4)对各道路类型提取时,裸土道路和铁路提取尤为困难,铁路下方材质的影响,裸土道路的复杂性的原因。目前本文借助网络地图与实地考察为辅助,利用ArcGIS平台进行手动剔除二次修改。

    (5)在对曹妃甸地区道路材质提取结果进行精度分析。分析结果表明,总体精度与Kappa系数分别达到92.2701%和0.8534。

    整体来说,基于规则面向对象分类提取方法对遥感影像道路材质信息的提取可行,在允许误差范围内,对道路研究及建设具有重大意义。

    5.2 展望

    本文基于规则面向对象,对GF-2号遥感影像进行道路材质信息提取,相关过程主要涉及多尺度分割、光谱特征分析、纹理特征分析和几何特征分析,对不同类型道路进行分析,提取结果比较满意,可依旧存在一些问题:

    由于GF-2号图像包含大量信息使其图像文件所占内存巨大,由于操作电脑内存狭小,只能对图像进行裁剪,裁剪成多个小区域的图像进行分析,导致对最终提取结果也有一定的误差。

    基于多种特征结合,虽然可以有效提取出道路,可存在道路的不完整性,对于这个问题可以利用现有技术手段去解决补充断接的道路,可有时因为天然灾害,摧毁道路使其不完整,如果贸然对道路进行自行修改,可能导致道路信息的错误引导,使救灾工作进展的速度大大降低,造成重大损失。因此下一步的研究中应充分考虑道路的动态变化与当地情况的分析。

    遥感技术的快速发展,可能在不久的将来,高分遥感影像将会走进大家的生活中,直接在手机等通讯设备上直接浏览,已经不需要道路材质的识别和提取,已经达到实时并且真实的地物观看。

    参考文献

    1. Bajcsy R, Tavakoli M.Computer Recognition of Roads from Satellite
      Pictures.IEEE Trans.Systems Ma. Cybemet 1976. 6:(623一637).

    2. 金永涛,杨秀峰,高涛,等.基于面向对象与深度学习的典型地物提取[J].国土资源遥感,2018,30(01):22-29.

    3. 戴激光,杜阳,方鑫鑫,等.多特征约束的高分辨率光学遥感图像道路提取[J].遥感学报,2018,22(05):777-791.

    4. 陈光,薛梅,陈良超,等.自适应聚类学习的道路网提取方法[J].测绘通报,2018(11):30-35.

    5. 符喜优,张风丽,王国军,等.结合张量投票和Snakes模型的SAR图像道路提取[J].中国图象图形学报,2015,20(10):1403-1411.

    6. 赵金阳.高分辨率遥感影像道路信息提取[J].福建电脑,2020,36(10):122-124.

    7. 杨超. 基于遥感图像多特征融合的道路材质信息提取[D].电子科技大学,2020.

    8. 佘宇晨,林辉,孙华.主要道路路面材料高光谱特征分析[J].中南林业科技大学学报,2014,34,(11);120-123=139.

    9. Buslacv A,Scfcrbckov S,Iglovikov V,et al. Fully Convolutional Network for
      Automatic Road Extrartion from Satellite Imagery[C]//2018 IEEE/CVF
      Conference on Computer Vision and Pattern Recognition Workshops (CVPRW).
      IEEE,2018.

    10. Gamba P,Dell Acqua F,Lisini G .Improving Urban Road Extraction in
      High-Resolution Images Exploiting Directional Filtering,Perceptual
      Grouping,and Simple Topological Concepts[J]. IEEE Geoscience and Remote
      Sensing Letters,2006,3(3): (387-391).

    11. D. Costea, A. Marcu, E. Slusanschi, et al. Roadmap Generation using a
      Multi-Stage Ensemble of Deep Neural Networks with Smoothing-Based
      Optimization[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern
      Recognition Workshops (CVPRW). IEEE, 2018: 210-2104.

    12. K. Hedman, U.Stilla, G. Lisini, et al. Road network extraction in VHR SAR
      images of urban and suburban areas by means of class-aided feature-level
      fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(3):
      1294-1296.

    13. 严华,陈颖.高分六号卫星相对辐射校正方法分析[J].科技视界,2021(03):5-8.

    14. 王瀛,余岚旭,王春喜,左方,王泽浩.基于改进的IHS、PCA和小波变换的遥感图像融合算法[J].计算机与数字工程,2021,49(04):797-803.

    15. 郭力娜,李帅,张梦华,牛振国,李孟倩.最佳波段组合的城市土地利用类型提取[J].测绘科学,2019,44(08):161-167.

    16. Baatz M, Hoffmann C, Willhauck G. 2008. Progressing from object-based to
      object-oriented image Analysis[G]//Object-BasedImage Analysis.
      Berlin,Heidelberg: Springer Berlin Heidelberg, 29-42.

    17. 李伟健. 基于GF-1卫星影像的道路信息提取与应用[D].成都:四川师范大学,2020.

    18. 邱志伟,李艳,乔浩然.一种面向对象的遥感影像多尺度分割方法[J].地理空间信息,2013,11(03):
      (95-96+2).

    19. 周昀罡.基于知识道路的道路信息提取方法研究[D].成都:四川师范大学

    20. 邵文静,孙伟伟,杨刚,孟祥超. 高光谱遥感纹理特征提取的对比分析[A].
      浙江省地理学会.浙江省地理学会2019年学术年会暨乡村振兴高峰论坛论文摘要集[C].浙江省地理学会:浙江省地理学会,2019:1.

    21. 于辉,陈晓停,汪金花.基于高分一号的面向对象影像信息提取[J].华北理工大学学报(自然科学版),2017,39(01):6-11.

    22. 郑心玥,郭青霞.基于GF-1号遥感影像的微小水体信息提取研究——以岔口流域为例[J].湖北农业科学,2021,60(05):131-137.

    23. 杨帆,王博.基于决策树的遥感图像分类方法研究[J].测绘与空间地理信息,2019,42(07):1-4.

    24. 樊舒迪.面向对象技术在建筑物提取中的应用-以白云区为例[D].广东:农南农业大学,2016.

    致谢

    时光飞逝,转眼大学四年生活即将画上句号,同样也是社会之门向我打开的时刻。在论文即将完成之际,我想向在写作期间给予我支持和帮助的人表示最真诚的感谢。
    C, Willhauck G. 2008. Progressing from object-based to
    object-oriented image Analysis[G]//Object-BasedImage Analysis.
    Berlin,Heidelberg: Springer Berlin Heidelberg, 29-42.

    1. 李伟健. 基于GF-1卫星影像的道路信息提取与应用[D].成都:四川师范大学,2020.

    2. 邱志伟,李艳,乔浩然.一种面向对象的遥感影像多尺度分割方法[J].地理空间信息,2013,11(03):
      (95-96+2).

    3. 周昀罡.基于知识道路的道路信息提取方法研究[D].成都:四川师范大学

    4. 邵文静,孙伟伟,杨刚,孟祥超. 高光谱遥感纹理特征提取的对比分析[A].
      浙江省地理学会.浙江省地理学会2019年学术年会暨乡村振兴高峰论坛论文摘要集[C].浙江省地理学会:浙江省地理学会,2019:1.

    5. 于辉,陈晓停,汪金花.基于高分一号的面向对象影像信息提取[J].华北理工大学学报(自然科学版),2017,39(01):6-11.

    6. 郑心玥,郭青霞.基于GF-1号遥感影像的微小水体信息提取研究——以岔口流域为例[J].湖北农业科学,2021,60(05):131-137.

    7. 杨帆,王博.基于决策树的遥感图像分类方法研究[J].测绘与空间地理信息,2019,42(07):1-4.

    8. 樊舒迪.面向对象技术在建筑物提取中的应用-以白云区为例[D].广东:农南农业大学,2016.

    致谢

    时光飞逝,转眼大学四年生活即将画上句号,同样也是社会之门向我打开的时刻。在论文即将完成之际,我想向在写作期间给予我支持和帮助的人表示最真诚的感谢。

    展开全文
  • 信息提取(Information Extraction)

    万次阅读 2018-11-18 21:24:19
    信息提取(IE) 信息提取(IE)的目标是将文本信息转化为结构化信息,起初用于定位自然语言文档中的特定信息,属于自然语言处理的一个子领域。 随着网页文本信息的急剧增长,越来越多的人投入到信息提取(IE)领域的研究。...

    参考资料:Web Information Extraction

    信息提取(IE)

    信息提取(IE)的目标是将文本信息转化为结构化信息,起初用于定位自然语言文档中的特定信息,属于自然语言处理的一个子领域。

    随着网页文本信息的急剧增长,越来越多的人投入到信息提取(IE)领域的研究。

    网页文本信息的非结构化特征和无序性,一般只能采用全文检索的方式查找。但是网页中充斥着大量的无关信息,比如广告和无关链接以及其他内容,有用信息和无用信息混杂在一起,给网页信息的检索问题带来极大的困难。

    IR与IE

    提起IE,不得不提的另一个跟信息处理相关的领域就是信息检索(Information Retrieve),二者有什么关系呢?

    一般来说,IR的目标是从特定集合中获取相关的文档;IE的目标是从文档中获取相关的信息

    因此两个领域的技术相辅相成,共同用于文本信息处理。

    信息提取(IE)发展历史

    • 20世纪90年代初,人们开始关注信息提取(information extration)相关研究。
    • 之后信息提取算法方面取得很大进展,自动识别命名实体(人名、组织名等)方面取得巨大进步。
    • 随着Web的出现和繁荣,IE研究人员逐渐将兴趣转移到Web网页信息提取的研究上。其中比较知名的项目是卡耐基梅隆大学自动学习和发现中心的Web挖掘项目,他们采用机器学习算法,目标是通过训练自动地从Web中提取信息。
    • Web IE领域涌现出许多算法和模型,比如基于知识工程的专家模型,基于概率图模型的马尔科夫模型、条件随机场,基于页面差异的数据挖掘模型,基于视觉的页面分割模型,基于分类的提取模型,等等。

    IE评价体系:

    IE技术的评价体系来自于标准的信息检索(IR)体系的召回率(recall)和准确率(precision).

    召回率(recall): 是提取出来的信息与所有信息的比。

    准确率(precision):是提取出的信息中正确的数量与全部数量的比。

    我们的目标是提高两项子表,但通常情况下,recall越高,precision就比较低,反之,precision越高,recall就比较低,二则之间需要做一个权衡。

    通常,我们经常采用的另一个度量就是F值,它的计算公式如下:

    F = ( β 2 + 1 ) P R β P + R F=\frac{(\beta^2+1)PR}{\beta P + R} F=βP+R(β2+1)PR

    其中参数 β \beta β表示recall和precision的重要性比率。

    IE系统分类

    IE系统主要有分为两大类,分别是专家系统类和自动学习类。

    早期的研究主要集中在专家系统类。通过人工构造的规则来提取信息。缺点是需要大量的人力的投入,并且有时候领域内的知识获取构成了瓶颈。

    自动学习类是算法的优点是不需要领域知识,日渐称为研究的主流,缺点是监督类或半监督类的学习算法,需要足够的训练数据。

    自动学习类IE基本过程

    在这里插入图片描述

    通常,IE技术的第一步要做的就是将网页进行预处理,将半结构化的网页信息按照一定的模型表示成学习算法容易处理的结构化模型。

    根据我们所采用的学习算法,通常会有相应的预处理过程。

    IE算法

    常见的监督类学习算法有马尔科夫模型,贝叶斯网络,条件随机场等等;非监督类的算法有基于语法归纳,词频统计,树形结构比较等数据挖掘类算法;另外还有一些模型通过建模将提取问题转化为分类问题,分类问题是机器学习算法的经典问题,有众多的的算法可以使用,经常使用的的分类算法有SVM,神经网络,树形模型等等。

    各类学习算法各有优点,基于概率图模型和数据挖掘类的算法,适合于网页的模式比较明显、格式化比较强的情况。基于分类算法的模型能更好的利用网页的视觉方面的特征,有助于提高算法的泛化能力。

    经典模型

    下面列举一些有代表性的IE模型

    1.基于正则文法推导的模型

    信息抽取问题相当于推导页面的文法,通常是正则文法,然后通过推导出的正则文法来抽取文本中的信息。

    在这里插入图片描述

    文法推导问题是一个比较经典,研究比较成熟的问题,同时也是一个比较困难的问题;因为首先,只有正例的情况下文法是不能被正确识别的,其次,即使正反例都存在的情况下,目前也没有高效的学习算法。这两方面的困难限制了传统的文法推导技术在信息提取领域的应用。

    这里举一个例子, R o a d R u n n e r [ 1 ] RoadRunner^{[1]} RoadRunner[1]系统通过推导union-free正则文法来解决提取问题.

    2.基于模板推导的模型

    这类模型将web页面的产生过程看成存储在数据库中的结构化的数据,按照模板规定的schema进行序列化的结果,如下图:

    在这里插入图片描述
    如此信息提取问题则可以通过模板推导的方法解决。这类算法的主要区别也在于如果获取模板的信息。

    在这里插入图片描述

    早期的系统人工提供模板的信息,后来出现了一些系统可以从人工标记的数据中,学习到模板的信息。也还有系统通过比较同一个模板产生的页面之间的相似和差异,挖掘出模板的信息,比如论文【2】所采用的方法:

    在这里插入图片描述

    3.基于页面结构比较的模型

    以上的文法推导和模板推导的模型,都是将web页面作为文本信息进行处理,其实web页面并不是纯粹无结构化的文本信息,而是半结构化的,例如dom树结构。

    我们来介绍一个基于页面结构的 模 型 3 模型^{3} 3,通过比较页面之间树形结构的差异,来实现信息提取。

    系统采用的度量标准是:

    Tree Edit Distance:将树TA转化为TB的最少操作的数量,定义为TA,TB之间的编辑距离。

    在这里插入图片描述

    信息提起的过程如下:

    在这里插入图片描述

    4.基于视觉特征的模型

    模 型 4 模型^{4} 4首先基于视觉特征,将页面转化为视觉区域树,然后定位包含目标信息的局域,最后从目标区域提取信息。

    在这里插入图片描述

    视觉区域的划分使用 V I P S 5 VIPS^{5} VIPS5算法。

    在这里插入图片描述

    提取方法可以使用启发式规则:

    在这里插入图片描述

    或则使用分类算法:

    在这里插入图片描述

    5.条件随机场模型

    以上的模型没有考虑到视觉块之间的相对位置关系,加入相对位置特征,条件随机场可以很好的建模这类模式。

    在这里插入图片描述

    Web页面的信息提取,也就是定位页面特定信息的位置,当然也可以看成是对页面中信息的类型进行标注,这些信息的类型是有是下文关系的,如上图,名称,头像,详细介绍等类型信息的位置是相关的,他们之间的相对位置具有一定的模式。

    对这种序列关系的建模的一个很好的模型就是条件随机场。

    在这里插入图片描述

    X表示我们观察到的信息,Y表示信息的类别(名称,头像,介绍,价格等等).一般序列标注的问题中,用到的是链式条件随机场,此 模 型 6 模型^{6} 6中采用的是2D条件随机场,因为网页中信息的标注问题天生是个二维的序列标注问题。

    6.广义隐马尔科夫模型(GHMM)

    在信息提取领域,隐藏马尔科夫模型(HMM)已经广泛的应用在命名实体识别等问题中。web文档作为一个整体,与一般的纯文本文档相比,其实是缺少整体的语法结构的。如果将HMM直接应用在web文本信息处理中是不太合适的。

    模 型 7 模型^{7} 7提出两个一个方法将HMM应用到了web信息提取中。

    在这里插入图片描述

    对于以上的网页,首先基于视觉特征将其转化为视觉块树。

    在这里插入图片描述
    然后在在视觉块的粒度上进行标注,从而将HMM应用到了网页信息的提取。

    参考论文:

    1.CRESCENZI V, MECCA G, MERIALDO P.RoadRunner: towards automatic data extraction from large Web sites[C] //Proc of the 27th International Conference on Very Large Data Bases.San Francisco: Morgan Kaufmann, 2001: 109 118.

    2.ARASU A, GARCIA MOLINA H.Extracting structured data from Web pages[ C] //Proc of ACM SIGMOD International Conference on Management of Data.New York:ACM Press, 2003: 337 348.

    3.REIS D C, GOLGHER P B, SILVA A S,et al.Automatic Web news extraction using tree edit distance[C] //Proc of the 13th International Conference on World Wide Web.New York:ACM Press, 2004: 502 511 .

    4.LIU Wei, MENG Xiao feng, MENG Wei yi.Vision based Web data records extraction[C] //Proc of the 9th SIGMOD International Work
    shop on Web and Databases.2006:2025

    5.CAI Deng, YU Shi peng, WEN Ji rong,et al.VIPS: a vision based page segmentation algorithm, MSR TR 2003 79[R].Redmond:Microsoft Corp, 2003

    6.[34] ZHU Jun, NIE Zai qing, WEN Ji rong, et al.2D conditional random fields for Web information extraction[C] //Proc of the 22nd Interna tional Conference on Machine.New York: ACM Press, 2005:1044 1051.

    7.ZHONG Ping, CHEN Jin lin.A generalized hidden Markov model approach for Web information extraction [ C ] //Proc of IEEE /WIC / ACM International Conference on Web Intelligence.2006:709 718.

    展开全文
  • 为了高效处理和访问这些巨大的数据,有必要开发有价值的信息提取工具。信息提取字段中需要注意的子区域之一是从表格窗体中提取和访问数据。 表提取 (TE)是检测和分解文档中的表信息的任务。 为了用一种微妙的...

    表提取简介

    随着当前技术时代大量应用、工具和在线平台的蓬勃发展,所收集的数据量与日新月之分急剧增加。为了高效处理和访问这些巨大的数据,有必要开发有价值的信息提取工具。信息提取字段中需要注意的子区域之一是从表格窗体中提取和访问数据。

    表提取 (TE)是检测和分解文档中的表信息的任务。

    为了用一种微妙的方式解释这一点,假设您有很多文件,你会使用表,并且使用相同的文件,你想操纵数据。通常,您可以手动复制它们(在纸上)或将它们加载到 Excel 纸张中。但是,通过表提取,您只要将表作为图片发送到计算机,它就提取所有信息并将它们堆叠到整洁的文档中。这节省了充足的时间,而且不那么错误。


    谁将发现表提取有用?

    如上一节所述,表经常用于以干净格式表示数据。我们可以经常看到它们跨越多个领域,从跨表构建数据来组织我们的工作,到存储公司的巨大资产。有很多组织每天都要处理数百万个表。为了便于手动完成所有事情的艰巨任务,我们需要采用更快的技术。让我们讨论一些表可能是必不可少的用例:

     

    来源: 帕特里克·托马索, 未飞溅


    个人使用案例

    表提取过程也可用于小型个人用例。有时,我们会在手机上捕获文档,然后将它们复制到我们的计算机上。我们可以直接捕获文档,并保存为自定义模板中的可编辑格式,而不是使用此过程。以下是一些有关我们如何将表提取放入个人日常操作中的用例 -

    将文档扫描到电话:我们经常在手机上捕获重要表的图像并保存它们,但通过表提取技术,我们可以捕获表的图像,并直接将它们存储在表格格式中,无论是 Excel 或 google 工作表。这样,我们不需要搜索图像或将表内容复制到任何新文件,相反,我们可以直接使用导入的表并开始处理提取的信息。

    到 HTML 的文档: 在网页中,我们发现使用表格显示的大量信息。它们帮助我们与数据进行比较,并给我们一个有组织的快速记录数字。通过使用表提取过程,我们可以扫描 PDF 文档或 JPG/PNG 图像,并直接将信息加载到自定义自设计的表格式中。我们可以进一步编写脚本,以基于现有表添加其他表,从而使信息数字化。这有助于我们编辑内容并加快存储过程。


    工业用例

    全球有几个行业在文书工作和文件方面大有作为,尤其是在银行和保险行业。从存储客户的详细信息到照顾客户需求,表被广泛使用。此信息再次作为文档(硬拷贝)传递到不同的分支机构进行审批,有时,沟通不畅会导致错误,同时从表中抓取信息。相反,在这里使用自动化,使我们的生活轻松得多。一旦捕获和批准初始数据,我们可以直接将这些文件扫描到表中,并进一步处理数字化数据。更不用说减少时间消耗和故障了,我们可以通知客户处理信息的时间和位置。因此,这确保了数据的可靠性,并简化了我们处理操作的方式。现在,让我们看看其他可能的用例:


    质量控制:质量控制是顶级行业提供的核心服务之一。它通常是在内部和利益相关者完成的。作为其中的一部分,从消费者那里收集了大量反馈表单,以提取有关所提供服务的反馈。在工业部门,他们使用表格记下每日清单和笔记,了解生产线的组成情况。所有这些都可以在单个位置轻松记录,使用表提取。

    资产跟踪:在制造业中,人们使用硬编码表来跟踪钢铁、钢铁、塑料等制造实体。每个制造物料都标有唯一的编号,其中它们使用表格来跟踪每天制造和交付的物品。自动化有助于在错位或数据不一致方面节省大量时间和资产。


    业务用例

    有几个商业行业在 Excel 工作表和脱机窗体上运行。但是,在一个时间点,很难通过这些表格和表格进行搜索。如果我们手动输入这些表,则非常耗时,并且输入错误数据的可能性也会很高。因此,表提取是解决业务用例的更好选择,因为下面的情况很少。

    发票自动化:有许多小规模和大规模的行业,其发票仍然以表格格式生成。这些没有提供适当担保的税务报表。为了克服这些障碍,我们可以使用表提取将所有发票转换为可编辑格式,从而将它们升级到较新版本。

    表单自动化:在线表单通过帮助企业收集他们需要的信息并同时将其连接到其工作流中内置的其他软件平台,从而中断了这种尝试性且真实的方法。除了减少对手动数据输入和后续电子邮件需求外,表提取还可以消除打印、邮寄、存储、组织和销毁传统纸张替代品的成本。


    心中有 OCR 问题吗?想要数字化发票、PDF 或车牌?前往纳米网,免费构建OCR模型!

    入门

    在行动中进行深度学习

    深度学习是基于人工神经网络的机器学习方法的更广泛系列的一部分。

    神经网络是一个框架,通过模仿人脑运作方式的过程来识别给定数据中的基本关系。它们具有不同的人工层,通过这些图层数据通过这些图层,从而了解要素。有不同的体系结构,如卷积 NN、循环 NN、自动编码器、生成对抗 NN 来处理不同类型的数据。这些非常复杂,但描绘了高性能,以实时解决问题。现在,让我们来研究一下使用神经网络在表提取领域进行的研究,并且,让我们简要地回顾一下它们。


    TableNet

    说明:TableNet:用于端到端表检测的深度学习模型,以及从扫描的文档图像中提取表格数据

    简介:TableNet 是一个现代深度学习架构,由 TCS 研究年的团队在 2019 年提出。主要动机是通过手机或相机从扫描的表格中提取信息。

    他们提出了一个解决方案,其中包括准确检测图像中的表格区域,然后检测和提取检测到表的行和列中的信息。

    数据集:使用的数据集是马莫特。它有2000页PDF格式,这是收集与相应的地面真相。这还包括中文页面。链接 - http://www.icst.pku.edu.cn/cpdp/sjzy/index.htm

    架构:该体系结构基于 Long 等人,这是用于语义分段的编码器解码器模型。相同的编码器/解码器网络用作用于表提取的 FCN 体系结构。使用 Tesseract OCR 对图像进行预处理和修改。

    该模型分两个阶段派生,将输入主题为深度学习技术。在第一阶段,他们使用了预先训练的VGG-19网络的重量。它们已用 1x1 卷积层替换了已使用的 VGG 网络的完全连接层。所有卷积层后跟 ReLU 激活和概率 0.8 的辍学层。他们称第二阶段为解码网络,由两个分支组成。这是根据直觉,列区域是表区域的子集。因此,单个编码网络可以使用表和列区域的特征以更好的精度筛选出活动区域。第一个网络的输出将分发到两个分支。在第一个分支中,应用两个卷积操作,并升级最终要素图以满足原始图像尺寸。在用于检测列的另一个分支中,有一个附加的卷积层,具有 ReLU 激活函数,还有一个与前面提到的相同的辍学概率的辍学层。要素贴图在 (1x1) 卷积层后使用小步卷积进行向上采样。下面是体系结构的图像:

     

    TableNet 的体系结构

    输出使用模型处理文档后,将生成表和列的掩码。这些蒙版用于从图像中筛选出表及其列区域。现在使用 Tesseract OCR,从分段区域中提取信息。下面是显示从表中生成和稍后提取的蒙版的图像:

     

    他们还提出了与ICDAR进行微调的相同型号,其性能优于原始型号。微调车型的召回、精度和 F1 得分分别是 0.9628、0.9697 和 0.9662。原始模型的记录指标为 0.9621、0.9547、0.9583。现在,让我们深入探讨一个架构。


    深德斯特

    论文:DeepDeSRT:文档图像中表检测和结构识别的深度学习

    简介:DeepDeSRT 是一个神经网络框架,用于检测和理解文档或图像中的表。它有两个解决方案,如标题中提及:

    1. 它提供了一个基于学习的深度解决方案,用于文档图像中的表检测。
    2. 它提出了一种基于深度学习的表结构识别方法,即识别检测到的表中的行、列和单元格位置。

    建议的模型完全基于数据,不需要文档或图像的启发式或元数据。培训的一个主要优点是它们不使用大型培训数据集,而是使用转移学习和域适应的概念来检测表检测和表结构识别。

    数据集:使用的数据集是 ICDAR 2013 表竞争数据集,包含 67 个文档,总页数为 238 页。

    建筑:

    • 表检测建议的模型使用快速 RCNN 作为检测表的基本框架。该体系结构分为两个不同的部分。在第一部分中,他们根据所谓的区域建议网络 (RPN) 的输入图像生成区域建议。第二部分,他们使用快速RCNN对区域进行分类。为了支持此体系结构,他们使用了ZFNet和 VGG-16 的权重。
    • 结构识别成功检测到表并了解其位置后,了解其内容的下一个挑战是识别和定位构成表物理结构的行和列。因此,他们使用完全连接的网络与 VGG-16 的权重,从行和列中提取信息。以下是 DeepDeSRT 的输出:

    输出:

     

    表检测的输出

     

    结构识别的输出 [6]

    评估结果表明,DeepDeSRT在台表检测和结构识别方面优于最先进的方法,在2015年之前,在表检测和结构识别方面分别达到96.77%和91.44%的F1测量。


    图形神经网络

    论文:使用图形神经网络重新思考表识别

    简介:在这项研究中,来自国家人工智能中心(NCAI)深度学习实验室的作者提出了用于从表中提取信息的图形神经网络。他们认为图形网络是这些问题更自然的选择,并进一步探讨了两个基于梯度的图形神经网络。

    本建议的模型结合了两者的好处,卷积神经网络用于视觉特征提取和处理问题结构的图形网络。

    数据集:作者提出了一个新的大型综合生成数据集,共生成 0.50 万个表,分为四个类别。

    1. 图像是普通图像,没有合并和裁决线
    2. 图像具有不同的边框类型,包括偶尔没有裁决线
    3. 引入单元格和列合并
    4. 摄像机通过线性透视变换捕获图像

    架构:他们使用浅卷积网络生成各自的卷积特征。如果输出要素的空间尺寸与输入图像不同,它们会收集根据输入和输出尺寸之间的比率线性缩小的位置,并将其发送到具有两个图形网络(称为 DGCNN 和 GravNet)的交互网络。图形网络的参数与原始 CNN 相同。最后,他们使用运行时对采样对内部使用蒙特卡罗算法提取的内容进行分类。以下是输出:

    输出

    图形神经网络生成的输出

    以下是网络为四个类别的网络生成的表格精度数字,如"数据集"部分所示

     


    CLAN 和遗传算法

    论文:使用条件生成对抗网络和遗传算法从文档中提取表

    简介:在这项研究中,作者使用自上而下的方法,而不是使用自下而上的方法(将行集成到单元格、行或列中)方法。

    在此方法中,他们使用生成对抗网络将表映像映射到标准化的"骨架"表窗体。此骨架表表示没有表内容的近似行和列边框。其次,它们使用遗传算法优化的距离测量将候选潜在表结构的渲染拟合到骨架结构中。

    数据集:作者使用自己的数据集,该数据集包含 4000 个表。

    架构:提议的模型由两部分组成。在第一部分中,输入图像使用条件生成对抗神经网络抽象为骨架表。GAN 再次有两个网络,即生成随机样本和鉴别器的生成器,它告诉生成的图像是假的还是原始的。生成器 G 是一个编码器解码器网络,其中输入图像通过一系列逐渐向下采样层,直到进程反转的瓶颈层。为了向解码层传递足够的信息,使用具有跳过连接的 U-Net 体系结构,并通过串联在层 i 和 n 之间添加跳过连接,其中 n 是图层总数,而 i 是编码器中的图层编号。PatchGAN 体系结构用于鉴别器 D。这会以补丁的规模惩罚输出图像结构。它们将输出生成为骨架表。

    在第二部分中,他们利用每个候选数据与骨架之间的距离的度量,优化候选潜在数据结构与生成的骨架图像的拟合。这是提取图像中文本的一种方法。下面是描述体系结构的图像:

     

    方法的一般示意图

    输出通过比较 - 行和列号、左上角位置、行高度和列宽度来评估估计的表结构

    遗传算法在从表中提取信息时,在列上给出了95.5%的准确率和96.7%的准确度。

     


    需要数字化单据、收据或发票,但懒得编码?前往纳米网,免费构建OCR模型!

    入门

    [代码]传统方法

    在本节中,我们将学习如何使用深度学习和 OpenCV 从表中提取信息的过程。你可以把这个解释作为介绍,但是,建立最先进的模型将需要大量的经验和实践。这将有助于您了解我们如何用各种可能的方法和算法培训计算机的基本原理。


    为了更准确地理解问题,我们定义了一些基本术语,这些术语将在本文中使用:

    • 文本:包含一个字符串和五个属性(顶部、左侧、宽度、高度、字体)
    • :包含假定在原始文件中同一行上的文本对象
    • 单行:只有一个文本对象的行对象。
    • 多行:具有多个文本对象的行对象。
    • 多线:一组连续的多线对象。
    • : 表中的水平块
    • : 表中的垂直块
    • 单元格:行和列的交集
    • 单元格 - 填充:单元格内部填充或空间。

    使用 OpenCV 进行表检测

    我们将使用传统的计算机视觉技术从扫描的表格中提取信息。这是我们的管道;我们最初使用普通摄像机捕获数据(我们需要从其中提取信息的表),然后使用计算机视觉,我们将尝试查找边框、边缘和单元格。我们将使用不同的滤镜和轮廓,我们将突出显示表的核心特征。

    我们需要一张桌子的图像。我们可以在手机上捕获此图像或使用任何现有图像。下面是代码片段,

    <span style="color:#000000"><code class="language-python3">file = r’table.png’
    table_image_contour = cv2.imread(file, 0)
    table_image = cv2.imread(file)
    </code></span>

    在这里,我们加载了相同的图像图像两个变量,因为我们将在将检测到的table_image_contour绘制到加载的图像时使用模型。以下是我们在程序中使用的表的图像:

     

    表的图像

    我们将采用一种称为反向图像阈值的技术,该技术可增强给定图像中存在的数据。

    ret, thresh_value = cv2.threshold(
        table_image_contour, 180, 255, cv2.THRESH_BINARY_INV)
    

    另一个重要的预处理步骤是图像扩张。扩展是应用于二进制图像(黑白)的简单数学操作,它逐渐放大前景像素区域的边界(通常为白色像素)。

    kernel = np.ones((5,5),np.uint8)
    dilated_value = cv2.dilate(thresh_value,kernel,iterations = 1)
    

    在 OpenCV 中,我们使用该方法,findContours获取当前图像中的轮廓。此方法采用三个参数,第一个参数是扩张图像(用于生成扩张图像的图像为 table_image_contour - findContours 方法仅支持二进制图像),第二个参数是cv2。RETR_TREE,它告诉我们使用等高线检索模式,第三个是cv2。CHAIN_APPROX_SIMPLE轮廓近似模式。findContours 解压缩了两个值,因此我们将再添加一个名为层次结构的变量。当图像嵌套时,轮廓散发出相互依赖性。为了表示这种关系,使用层次结构。

    contours, hierarchy = cv2.findContours(
        dilated_value, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
    

    等高线标记数据在图像中的确切存在。现在,我们迭代我们在上一步中计算的等高线列表,并使用方法 cv2.iningRect 计算矩形框的坐标,如在原始图像中观察到的。在上次迭代中,我们将这些框放在原始图像上table_image方法 cv2.rectangle() 。

    for cnt in contours:
        x, y, w, h = cv2.boundingRect(cnt)
        # bounding the images
        if y < 50:
            table_image = cv2.rectangle(table_image, (x, y), (x + w, y + h), (0, 0, 255), 1)
    
    


    这是我们的最后一步。在这里,我们使用名为Window的方法来呈现我们的表,其中嵌入了提取的内容和轮廓。下面是代码段:

    plt.imshow(table_image)
    plt.show()
    cv2.namedWindow('detecttable', cv2.WINDOW_NORMAL)
    

     

    输出

    在上面的代码段中将 y 的值更改为 300,这将是您的输出:

     

    提取表后,可以通过 tesseract OCR 引擎运行每个轮廓裁剪,教程可在这里找到。一旦我们拥有每个文本的框,我们就可以根据它们的 x 和 y 坐标对它们进行聚类,以派生它们所属的对应行和列。

    除此之外,还可以使用 PDFMiner 将 pdf 文档转换为 HTML 文件,我们可以使用正则表达式分析这些文件,以便最终获取表。下面是如何做到这一点。


    PDFMiner 和 Regex 解析

    要从较小的文档中提取信息,需要配置深度学习模型或编写计算机视觉算法。相反,我们可以使用 Python 中的正则表达式PDF 文档中提取文本。此外,请记住,此技术对图像不起作用。我们只能用它来从 HTML 文件或 PDF 文档中提取信息。这是因为,当您使用正则表达式时,您需要将内容与源和提取信息相匹配。使用图像时,您将无法匹配文本,正则表达式将失败。现在,让我们使用简单的 PDF 文档,并从中的表中提取信息。下图如下:

    在第一步,我们将 PDF 加载到我们的程序中。完成后,我们将 PDF 转换为 HTML,以便可以直接使用正则表达式,从而从表中提取内容。为此,我们使用的模块是pdfminer。这有助于从 PDF 中读取内容并将其转换为 HTML 文件。

    下面是代码段:

    from pdfminer.pdfinterp import PDFResourceManager 
    from pdfminer.pdfinterp import PDFPageInterpreter
    from pdfminer.converter import HTMLConverter
    from pdfminer.converter import TextConverter
    from pdfminer.layout import LAParams
    from pdfminer.pdfpage import PDFPage
    from cStringIO import StringIO
    import re
    
    
    def convert_pdf_to_html(path):
        rsrcmgr = PDFResourceManager()
        retstr = StringIO()
        codec = 'utf-8'
        laparams = LAParams()
        device = HTMLConverter(rsrcmgr, retstr, codec=codec, laparams=laparams)
        fp = file(path, 'rb')
        interpreter = PDFPageInterpreter(rsrcmgr, device)
        password = ""
        maxpages = 0 #is for all
        caching = True
        pagenos=set()
        for page in PDFPage.get_pages(fp, pagenos, maxpages=maxpages,password=password,caching=caching, check_extractable=True):
            interpreter.process_page(page)
        fp.close()
        device.close()
        str = retstr.getvalue()
        retstr.close()
        return str
    

    代码学分:泽夫罗斯

    我们导入了很多模块,包括正则表达式和 PDF 相关库。在方法convert_pdf_to_html中,我们发送需要转换为 HTML 文件的 PDF 文件的路径。该方法的输出将是 HTML 字符串,如下所示:

    '<span style="font-family: XZVLBD+GaramondPremrPro-LtDisp; font-size:12px">Changing Echoes\n<br>7632 Pool Station Road\n<br>Angels Camp, CA 95222\n<br>(209) 785-3667\n<br>Intake: (800) 633-7066\n<br>SA </span><span style="font-family: GDBVNW+Wingdings-Regular; font-size:11px">s</span><span style="font-family: UQGGBU+GaramondPremrPro-LtDisp; font-size:12px"> TX DT BU </span><span style="font-family: GDBVNW+Wingdings-Regular; font-size:11px">s</span><span style="font-family: UQGGBU+GaramondPremrPro-LtDisp; font-size:12px"> RS RL OP PH </span><span style="font-family: GDBVNW+Wingdings-Regular; font-size:11px">s</span><span style="font-family: UQGGBU+GaramondPremrPro-LtDisp; font-size:12px"> CO CJ \n<br></span><span style="font-family: GDBVNW+Wingdings-Regular; font-size:11px">s</span><span style="font-family: UQGGBU+GaramondPremrPro-LtDisp; font-size:12px"> SF PI </span><span style="font-family: GDBVNW+Wingdings-Regular; font-size:11px">s</span><span style="font-family: UQGGBU+GaramondPremrPro-LtDisp; font-size:12px"> AH SP\n<br></span></div>'
    
    


    正则表达式是用于模式匹配的最棘手、最酷的编程技术之一。这些应用程序被广泛用于多个应用程序,例如,用于代码格式、Web 刮擦和验证目的。在开始从 HTML 表中提取内容之前,让我们快速了解有关正则表达式的一些内容。

    此库提供各种内置方法来匹配和搜索模式。下面是几个:

    import re
    
    # Match the pattern in the string
    re.match(pattern, string)
    
    # Search for a pattern in a string
    re.search(pattern, string)
    
    # Finds all the pattern in a string
    re.findall(pattern, string)
    
    # Splits string based on the occurrence of pattern
    re.split(pattern, string, [maxsplit=0]
    
    # Search for the pattern and replace it with the given string
    re.sub(pattern, replace, string)
    

    通常在正则表达式中看到的字符/表达式包括:

    • [A-Z] - 任何大写字母
    • \d - 数字
    • \w - 单词字符(字母、数字和下划线)
    • \s - 空白(空格、选项卡和空格)

    现在,为了找出 HTML 中的特定模式,我们使用正则表达式,然后相应地编写模式。我们首先拆分数据,以便地址块根据程序名称(天使营地、APPLE VALLEY 等)被隔离成单独的块:

    pattern = '(?<=<span style="font-family: XZVLBD\+GaramondPremrPro-LtDisp; font-size:12px">)(.*?)(?=<br></span></div>)'
    
    for programinfo in re.finditer(pattern, biginputstring,  re.DOTALL):
      do looping stuff…
    


    稍后,我们会找到始终遵循相同模式的程序名称、城市、州和 zip(文本、逗号、两位大写字母、5 个数字(或 5 个数字连字符四个数字) - 这些出现在我们认为为输入的 PDF 文件中。检查以下代码段:

    # To identify the program name
    programname = re.search('^(?!<br>).*(?=\\n)', programinfo.group(0))
    # since some programs have odd characters in the name we need to escape
    programname = re.escape(programname)
    
    citystatezip  =re.search('(?<=>)([a-zA-Z\s]+, [a-zA-Z\s]{2} \d{5,10})(?=\\n)', programinfo.group(0))
    mainphone  =re.search('(?<=<br>)\(\d{3}\) \d{3}-\d{4}x{0,1}\d{0,}(?=\\n)', programinfo.group(0))
    altphones = re.findall('(?<=<br>)[a-zA-Z\s]+: \(\d{3}\) \d{3}-\d{4}x{0,1}\d{0,}(?=\\n)(?=\\n)', programinfo.group(0))
    
    


    这是一个简单的示例,说明我们如何使用正则表达式从 PDF 文件中提取信息。提取所有必需的信息后,我们将这些数据加载到 CSV 文件中。

    def createDirectory(instring, outpath, split_program_pattern):
        i = 1
        with open(outpath, 'wb') as csvfile:
            filewriter = csv.writer(csvfile, delimiter=',' , quotechar='"', quoting=csv.QUOTE_MINIMAL)
    
            # write the header row
            filewriter.writerow(['programname', 'address', 'addressxtra1', 'addressxtra2', 'city', 'state', 'zip', 'phone', 'altphone', 'codes'])
    
            # cycle through the programs
            for programinfo in re.finditer(split_program_pattern, instring,  re.DOTALL):
                print i
                i=i+1
    
                # pull out the pieces
                programname = getresult(re.search('^(?!<br>).*(?=\\n)', programinfo.group(0)))
                programname = re.escape(programname) # some facilities have odd characters in the name
    

    因此,这是一个简单的示例,说明如何将提取的 HTML 推送到 CSV 文件中。首先,我们创建一个 CSV 文件,查找我们所有的属性,然后一个一个推送到各自的列中。下面是一个截图:

    使用正则表达式从表中提取的项目的屏幕截图

    有时,上述技术似乎很复杂,如果所有表都是嵌套和复杂的,则对程序员构成挑战。在这里,选择 CV 或深度学习模型可以节省大量时间。让我们看看哪些缺点和挑战阻碍了这些传统方法的使用。


    传统方法的挑战


    在本节中,我们将深入了解表提取过程可能失败的原因,并进一步了解如何使用深度学习中诞生的现代方法克服这些障碍。不过, 这个过程不是蛋糕步道。原因是表通常不保持不变。它们具有不同的结构来表示数据,表内的数据可以是具有各种格式样式(字体样式、颜色、字体大小和高度)的多语言语言。因此,要构建一个强大的模型,人们应该意识到所有这些挑战。通常,此过程包括三个步骤:表检测、提取和转换。让我们一个个确定所有阶段中的问题:



    表检测

    在此阶段中,我们确定给定输入中表的确切存在。输入可以是任何格式,如图像、PDF/Word 文档,有时还有视频。我们使用不同的技术和算法来检测表,无论是按行还是按坐标。在某些情况下,我们可能会遇到完全没有边界的表,我们需要选择不同的方法。除了这些,还有一些其他的挑战:

    • 图像转换:图像转换是检测标签的主要步骤。这包括增强表中的数据和边框。我们需要根据表中显示的数据选择正确的预处理算法。例如,当我们处理图像时,我们需要应用阈值和边缘检测器。此转换步骤可帮助我们更精确地查找内容。在某些情况下,轮廓可能会出错,算法无法增强图像。因此,选择正确的图像转换步骤和预处理至关重要。
    • 图像质量:当我们扫描表以进行信息提取时,我们需要确保在更明亮的环境中扫描这些文档,以确保图像质量良好。当照明条件较差时,CV 和 DL 算法可能无法检测给定输入中的表。如果我们使用深度学习,我们需要确保数据集是一致的,并且有一组良好的标准图像。如果我们在旧皱褶的表格上使用这些模型,那么首先我们需要预处理并消除这些图片中的噪声。
    • 各种结构布局和模板:所有表并非唯一。一个单元格可以跨越多个单元格,无论是垂直的还是水平的,跨单元格的组合可以产生大量的结构变异。此外,某些强调文本的功能,表行可能会影响表结构的理解方式。例如,水平行或粗体文本可能会强调表的多个标题。表的结构直观地定义了单元格之间的关系。表中的视觉关系使得计算上查找相关单元格并从中提取信息变得困难。因此,构建在处理不同表结构时健壮的算法非常重要。
    • 单元格填充、边距、边框:这些是任何表的基本要素 - 填充、边距和边框并不总是相同的。有些表在单元格中有很多填充,而有些则没有。使用高质量的图像和预处理步骤将有助于表提取过程平稳运行。

    表提取

    这是标识表后提取信息的阶段。关于内容的结构以及表中存在的内容,有很多因素。因此,在构建算法之前了解所有挑战非常重要。

    • 密集内容:单元格的内容可以是数字的,也可以是文本的。但是,文本内容通常是密集的,包含模糊的短文本块,使用首字母缩略词和缩写。为了理解表格,文本需要消除歧义,缩写和首字母缩略词需要扩大。
    • 不同的字体和格式:字体通常有不同的样式、颜色和高度。我们需要确保这些是通用的,易于识别。很少有字体系列,尤其是那些属于草书或手写的字体家族,是有点难以提取。因此,使用良好的字体和正确的格式有助于算法更准确地识别信息。
    • 多页 PDF 和分页符:表中的文本行对预定义的阈值敏感。此外,跨多个页面跨越单元格,则很难识别表。在多表页上,很难区分不同的表。稀疏和不规则的表很难处理。因此,图形裁决线和内容布局应一起用作发现表区域的重要来源。

    表转换

    最后一个阶段包括将表中提取的信息转换为在 Excel 中或使用其他软件将其编译为可编辑文档。让我们了解一些挑战。

    • 设置布局:当从扫描文档中提取不同格式的表时,我们需要有一个适当的表布局来推送内容。有时,算法无法从单元格中提取信息。因此,设计适当的布局也同样重要。
    • 各种价值表示模式:单元格中的值可以使用不同的句法表示模式来表示。将表中的文本考虑为 6 ± 2。该算法可能无法转换该特定信息。因此,数值的提取需要了解可能的表示模式。
    • 可视化的表示形式:表的大多数表示格式(如可以描述表的标记语言)都设计用于可视化。因此,自动处理表具有挑战性。

    这些是我们使用传统技术在表提取过程中面临的挑战。现在,让我们看看如何克服这些与深度学习的帮助下。它正广泛地在各部门进行研究。


    总结

    在这篇文章中,我们详细回顾了从表中提取信息。我们已经看到,现代技术(如深度学习和计算机视觉)如何通过构建强大的算法来输出准确结果,实现平凡任务的自动化。在初始部分中,我们了解了表提取在促进个人、行业和业务部门任务方面的作用,并回顾了从 PDF/HTML 提取表、表单自动化、发票自动化等的用例。我们使用计算机视觉对算法进行编码,使用阈值、扩张和等高线检测技术查找表中信息的位置。我们已经讨论了在使用传统技术时在表检测、提取和转换过程中可能面临的挑战,并陈述了深度学习如何帮助我们克服这些问题。最后,我们回顾了一些神经网络体系结构,并了解了它们根据给定的训练数据实现表提取的方法。


    带纳米网的 OCR

     

    Nanonets OCR API允许您轻松构建 OCR 模型。您不必担心预先处理图像,也不必担心匹配模板或构建基于规则的引擎以提高 OCR 模型的准确性。

    您可以上传数据、注释数据、将模型设置为训练和等待通过基于浏览器的 UI 获取预测,而无需编写一行代码、担心 GPU 或为深度学习模型找到合适的体系结构。您还可以获取每个预测的 JSON 响应,将其与您自己的系统集成,并构建基于最先进的算法和强大基础架构构建的机器学习支持应用程序。

    使用 GUI: https://app.nanonets.com/

    您还可以按照以下步骤使用 Nanonets-OCR API:

    第 1 步:克隆存储库,安装依赖项

    <span style="color:#000000"><code class="language-bash"><span style="color:#dd4a68">git</span> clone https://github.com/NanoNets/nanonets-ocr-sample-python.git
    <span style="color:#dd4a68">cd</span> nanonets-ocr-sample-python
    <span style="color:#dd4a68">sudo</span> pip <span style="color:#dd4a68">install</span> requests tqdm
    </code></span>

    第 2 步:获取免费 API 密钥
    ,从您那里获取http://app.nanonets.com/#/keys

    number-plate-detection-gif

    第 3 步:将 API 密钥设置为环境变量

    <span style="color:#000000"><code class="language-bash"><span style="color:#dd4a68">export</span> NANONETS_API_KEY<span style="color:#9a6e3a">=</span>YOUR_API_KEY_GOES_HERE
    </code></span>

    第 4 步:创建新模型

    <span style="color:#000000"><code class="language-bash">python ./code/create-model.py
    </code></span>

    注:这将生成MODEL_ID步骤所需的数据

    第 5 步:将模型 ID 添加为环境变量

    <span style="color:#000000"><code class="language-bash"><span style="color:#dd4a68">export</span> NANONETS_MODEL_ID<span style="color:#9a6e3a">=</span>YOUR_MODEL_ID
    </code></span>

    注意:您将从YOUR_MODEL_ID步骤中获取一些提示

    步骤 6:上传训练数据
    训练数据在(图像文件)和(图像文件的注释)中找到imagesannotations

    <span style="color:#000000"><code class="language-bash">python ./code/upload-training.py
    </code></span>

    第 7 步:
    训练模型 上传图像后,开始训练模型

    <span style="color:#000000"><code class="language-bash">python ./code/train-model.py
    </code></span>

    第 8 步:获取模型
    状态 模型需要 2 小时才能训练。一旦模型经过培训,您将收到一封电子邮件。同时检查模型的状态

    <span style="color:#000000"><code class="language-bash">python ./code/model-state.py
    </code></span>

    第 9 步:训练
    模型后进行预测。您可以使用模型进行预测

    <span style="color:#000000"><code class="language-bash">python ./code/prediction.py ./images/151.jpg
    </code></span>

    纳米网和人类在循环

    "中等"屏幕有助于更正和进入流程,将手动审阅者的工作减少近 90%,将组织的成本降低 50%。

     

    功能包括

    1. 跟踪正确的预测
    2. 跟踪哪些错误
    3. 对不准确的更正
    4. 删除错误
    5. 填写缺失的预测
    6. 筛选具有日期范围的图像
    7. 获取针对未主持的图像的已审核图像计数

    所有字段都构建成易于使用的 GUI,允许用户利用 OCR 技术,并协助使其在运行时变得更好,而无需键入任何代码或了解技术的工作原理。

    展开全文
  • Sentinel-1 GRD数据处理及其在水体信息提取中的应用

    万次阅读 多人点赞 2020-08-12 01:44:03
    汛期,降水天气过程较多,持续降水会导致江河、湖泊、水库水位上涨,严重时甚至会引发洪水...本篇博客重点介绍了Sentinel-1数据获取、预处理及其在水体信息提取等方面的经验技巧,希望能给广大科技工作者提供一点帮助。
  • \n' prompt = '\n输入命令: ' doc_header = "详细文档 (输入 help ):" misc_header = "友情提示:" undoc_header = "没有帮助文档:" nohelp = "*** 没有命令(%s)的帮助信息 " def __init__(self): super().__init__()...
  • 照片位置信息提取(获取经纬度)

    千次阅读 2021-07-23 15:47:34
    import exifread import json import urllib.request import exifread import json import urllib.request f = open(r'C:\Users\Pictures\Camera Roll\7615a...#打印照片其中一些信息 print('拍摄时间:', tags
  • flowcontainer是本人编写的基于python3的网络流量基本信息提取库,方便做加密网络流量的分类任务。给定pcap文件,该库会提取pcap所有的流的相关信息,其中流信息包括:流的源端口、源IP、目的IP、目的端口、IP数据包...
  • 信息提取的一般方法

    千次阅读 2019-04-15 15:48:44
    完整解析信息的标记形式,,再提取关键信息 XML JSON YAML 需要标记解析器 如bs库的标签树遍历 优点:信息解析准确 缺点:提取过程繁琐 方法二:无标记形式,直接搜索关键信息 搜索 对信息的文本查找函数即可 优点,...
  • 一、采用技术及其版本 ...通过线条的分割我们就能得到我们需要提取信息。 通过 lineY1,lineY2,lineY3,lineY4,lineY5 切割出五个我们感兴趣的区域roi1,roi2,roi3,roi4,roi5。同理roi3通过gline九条线...
  • 高光谱遥感图像处理与信息提取综述   高光谱遥感是对地观测的重要手段,高光谱图像处理与信息提取技术则是高光谱遥感领域的核心研究内容之一。高光谱图像处理与信息提取技术的研究主要包括数据降维、图像...
  • 大兵窗口信息提取软件

    热门讨论 2010-02-02 19:42:32
    大兵出品的窗口信息提取工具,很好用 可以查看当前桌面的所有窗口句柄,坐标,颜色,屏幕真实坐标,鼠标样式,还可以抓图。 绿色软件,无须安装 使用说明:win+空格 捕捉当前状态
  • 好久没有更新博客了,大半年的时间,摸索着边运行边看源代码,基本以及可以满足科研建模了,今天乘着建模过程中发现的一些... 运行G4 的目的,就是想从模型中提取我们所需要的信息,当所有的框架都搭好后,信息的...
  • 1. 下面哪个Python库不能用于提取网页信息?‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮...
  • 高光谱遥感图像处理与信息提取综述

    万次阅读 多人点赞 2017-08-09 10:08:30
    高光谱遥感图像处理与信息提取综述   高光谱遥感是对地观测的重要手段,高光谱图像处理与信息提取技术则是高光谱遥感领域的核心研究内容之一。高光谱图像处理与信息提取技术的研究主要包括数据降维、图像分类、...
  • 实现思路: 去除字符串中的干扰项 正则匹配(这里需要了解正则知识点) 匹配出:邮政编码,地址,身份证号,手机号,座机号,收件人,收货人 ... ...$address = "身份证号:13012519910927226x 收货人吴彦祖收货地址:...
  • 学号信息提取(PTA厦大慕课)

    千次阅读 2020-04-30 12:04:47
    某学校的学生编号由12位数字组成,其中前3位是学院代码,第4至7位是入学年份,第8-9位是专业代码,最后3位是班级座号。 请编程:输入学号,输出该生的入学年份、学院代码、班级座号。 提示: (1)在scanf函数中可使用...
  • Python网络爬虫与信息提取MOOC 测验2: Python网络爬虫之提取 (第2周)
  • Python网络爬虫与信息提取MOOC 测验1: Python网络爬虫之规则 (第1周)
  • 基于Landsat-8 OLI影像的鄱阳湖信息提取(python实现)

    万次阅读 多人点赞 2018-11-09 16:26:15
    本文从零开始介绍如何提取鄱阳湖信息,并制作shp文件。 二、数据获取及预处理 为了获取鄱阳湖的Landsat-8 OLI影像,首先需要知道鄱阳湖的位置,利用百度直接搜索,可以查询到鄱阳湖的经纬度信息: 鄱阳湖位于...
  • 基于ENVI下的土地利用信息提取(一)

    万次阅读 多人点赞 2016-06-14 21:10:32
    基于ENVI下的土地利用信息提取 1. 前言 对于土地利用信息的提取的研究,国内外各类文献资料中介绍的方法十分繁多,可大致分为:基于监督分类法、基于非监督分类法、基于决策树分类法、基于面向对象分类法、...
  • 基于ENVI下的土地利用信息提取(二)

    万次阅读 2016-06-14 21:12:47
    水田的含水量相对较高,其NDVI值略低于其他的植被,故NDVI能有效的将水田信息从中分离,由于水体中的植被较少,其光谱特征表现为强吸收,在对水体的NDVI值进行统计中发现其值大都低于0.1,故水体信息也易提取。...
  • 因此,必须客观、准确地掌握城市绿地信息。传统的城市绿化调查主要通过基层单位上报统计数据和实地抽样调查完成,资金和人力投入大,时间周期长。数据受人为影响较大且精度低,缺乏空间统计分析功能。 随着航天...
  • excel表格中身份证信息提取出生年月日,年龄,性别,出生地 excel表格中身份证信息提取出生年月日,年龄,性别,出生地身份证号码的意义1.年龄2.出生年月3.性别4.代码实现 出生地1.```报错:ModuleNotFoundError: ...
  • JPG图片EXIF信息提取工具exif

    千次阅读 2017-09-22 10:24:28
    JPG图片EXIF信息提取工具exif
  • 整体流程: 一、图像融合 ...四、面向对象绿地提取 Feature Extraction 工具下的 Rule Based选项进行处理 这里我的报错了 未进行!! PS:所需的坐标系数据: 椭球体 Krasovsky, 6378245....
  • 高光谱蚀变信息提取

    千次阅读 2012-10-15 15:53:05
    1、背景 目前,尽管理论上蚀变矿物(岩石)的光谱特征非常明显,但由于高(多)光谱数据的...因此,遥感蚀变异常信息提取依然具有相当难度。就物理意义而言,蚀变矿物(岩石)在波谱曲线上的光谱特征明显具有光谱可分性
  • 粤康码信息提取和整理
  • 在对该地区城市不透水信息提取的基础上,制定了较为合理的技术路线(如图 1)。 图 1 城市不透水信息提取技术流程  2.数据准备及方法  2.1 数据源  选取北京市 2010 年 Landsat TM。同时,收集...
  • cookie信息提取

    千次阅读 2019-01-15 16:28:08
    cookie信息提取 // 简单提取键值信息 let obj = {}, reg = new RegExp('([^=]*)=([^;]*);?', 'g') document.cookie.replace(reg , (str, key, val) =&gt; { cookieObj[key.trim()] = val.trim() }) ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 839,930
精华内容 335,972
关键字:

信息提取