就是有一堆的doc文档，有抄袭的，想通过某个软件，把重复度较高的找出来。
 
 

多文档查重工具（更新日志）

* 2018.2.28
1.由1.0单文档重复数据查找删除，在2.0中新增多文档查询，并将所有文档筛除重复，在桌面建立 删除重复后的文档.txt文档。
-----------------------------------------------------------------------------------------------------------------------------

多文档查重工具（软件介绍）
1.在应用主界面至少添加一个文件

2.点击开始按钮将执行查重操作，并将结果放在桌面“删除重复后的文档.txt”文件中；
3.添加的文件必须是txt格式文件；
4.清空按钮可清楚文件选择框中的内容；


Copyright © dt->Studio. All Rights Reserved.
2018.3.1

 
文章目录
 
前言
基本思路
实现代码
测试结果
小结

 
前言
 
我们在写论文的时候，为了避免论文重复，可以使用第三方的库进行查重。但是，有时候在写论文的时候，只是引用自己之前的资料，在查重前想对自己的论文两篇文章进行查重。网上找了一下，没找到合适的工具，于是就自己用Python写了一个。
 
基本思路
 
两篇论文查重的方法相对比较简单，即将文章拆分成小句，然后小句间进行两两对比。主要实现基本可以分为以下三步：
 
读取
 使用Python的python-docx库，可以非常方便的读取Word的内容，具体可以参见官方文档，网上也有很多不错的文章请自行查询参考。
原文拆分
 对比的基本思想是按小句进行比较，所以拆分以是标点，即，。？！等进行拆分。拆分完成以后，可以有很多的小段。本文中为了便于定位，先根据原始段落进行拆分，然后再将每段根据标点拆分成若干小句，即一个word文档 = [[段落1], [段落2], [段落3], ...,[段落n]]，而每个段落= [[小句1],[小句2],[小句3],...,[小句m],]。
循环对比输出
 第三步就是根据段落，两两进行对比，遇到匹配输出结果。
 
在对比中，有几点要注意：
 
如果子句过短（长度<5）则忽略，因为这种情况都是名词或术语，允许重复。
两个子句比较时，并不是用等号，而用包括，即一个子句是否包含另一个子句。
 
实现代码
 
# coding=utf-8

from docx import Document
import re, sys, datetime


def getText(wordname):
    d = Document(wordname)
    texts = []
    for para in d.paragraphs:
        texts.append(para.text)
    return texts

def is_Chinese(word):
    for ch in word:
        if '\u4e00' <= ch <= '\u9fff':
            return True
    return False

def msplit(s, seperators = ',|\.|\?|，|。|？|！'):
    return re.split(seperators, s)

def readDocx(docfile):
    print('*' * 80)
    print('文件', docfile, '加载中……')
    t1 = datetime.datetime.now()
    paras = getText(docfile)
    segs = []
    for p in paras:
        temp = []
        for s in msplit(p):
            if len(s) > 2:
                temp.append(s.replace(' ', ""))
        if len(temp) > 0:
            segs.append(temp)
    t2 = datetime.datetime.now()
    print('加载完成，用时: ', t2 - t1)
    showInfo(segs, docfile)
    return segs
    
def showInfo(doc, filename = 'filename'):
    chars = 0
    segs = 0
    for p in doc:
        for s in p:
            segs = segs + 1
            chars = chars + len(s)
    print('段落数: {0:>8d} 个。'.format(len(doc)))
    print('短句数: {0:>8d} 句。'.format(segs))
    print('字符数: {0:>8d} 个。'.format(chars))
          
def compareParagraph(doc1, i, doc2, j, min_segment = 5): 
    """
    功能为比较两个段落的相似度，返回结果为两个段落中相同字符的长度与较短段落长度的比值。
    :param p1: 行
    :param p2: 列
    :param min_segment = 5: 最小段的长度
    """
    p1 = doc1[i]
    p2 = doc2[j]
    len1 = sum([len(s) for s in p1])
    len2 = sum([len(s) for s in p2])
    if len1 < 10 or len2 < 10:
        return []
    
    list = []
    for s1 in p1:
        if len(s1) < min_segment:
            continue;
        for s2 in p2:
            if len(s2) < min_segment:
                continue;
            if s2 in s1:
                list.append(s2)
            elif s1 in s2:
                list.append(s1)
                
    # 取两个字符串的最短的一个进行比值计算
    count = sum([len(s) for s in list])
    ratio = float(count) /  min(len1, len2)
    if count > 10 and ratio > 0.1:
        print(' 发现相同内容 '.center(80, '*'))
        print('文件1第{0:0>4d}段内容：{1}'.format(i + 1, p1))
        print('文件2第{0:0>4d}段内容：{1}'.format(j + 1, p2))
        print('相同内容：', list)
        print('相同字符比：{1:.2f}%\n相同字符数： {0}\n'.format(count, ratio * 100))
    return list
 
if len(sys.argv) < 3:
    print("参数小于2.")


doc1 = readDocx(sys.argv[1])
doc2 = readDocx(sys.argv[2])

print('开始比对...'.center(80, '*'))
t1 = datetime.datetime.now()
for i in range(len(doc1)):
    if i % 100 == 0:
        print('处理进行中，已处理段落 {0:>4d} (总数 {1:0>4d} ） '.format(i, len(doc1)))
    for j in range(len(doc2)):
        compareParagraph(doc1, i, doc2, j)
 
t2 = datetime.datetime.now() 
print('\n比对完成，总用时: ', t2 - t1)    
 
测试结果
 
测试文章两篇，均为来自于百度文库）：《新交通法规2016全文》 和 《新交通法规牌照细则》。
 
运行命令
 
> python wordProcess.py d:\jg2016.docx d:\jg2017.docx
 
对比结果如下。
 
********************************************************************************
文件 d:\jg2016.docx 加载中……
加载完成，用时:  0:00:00.012992
段落数:      312 个。
短句数:      846 句。
字符数:    15703 个。
********************************************************************************
文件 d:\jg2017.docx 加载中……
加载完成，用时:  0:00:00.004016
段落数:      145 个。
短句数:      379 句。
字符数:     6509 个。
************************************开始比对...*************************************
处理进行中，已处理段落    0 (总数 0312 ）
处理进行中，已处理段落  100 (总数 0312 ）
************************************ 发现相同内容 ************************************
文件1第0137段内容：['\u3000\u3000机动车运载超限的不可解体的物品', '影响交通安全的', '应当按照公安机关交通管理部门指定的 时间、路线、速度行驶', '悬挂明显标志', '在公路上运载超限的不可解体的物品', '并应当依照公路法的规定执行']
文件2第0090段内容：['高速公路是绝对的危险路段', '由于高速公路是全封闭的设计', '所以您在高速路上只能是向前跑', '出现停车 、倒车甚至是逆行和借助中央隔离带的缺口掉头等行为', '都是严重影响交通安全的', '以上行为都会受到12分的处罚', '以上均为严重影响交通安全的恶劣行为', '除了原来的6项之外有增加了5项', '部分为6分的处罚规定升级的12分', '针对我国的情况来看', '有助于 更好地把控违章行为', '安全意识不够高也只能用提高处罚的力度来维护交通环境了', '而对于牡丹卡中的分值来说', '一次性扣除12分是最严厉的处罚了']
相同内容： ['影响交通安全的', '影响交通安全的']
相同字符比：16.28%
相同字符数： 14

************************************ 发现相同内容 ************************************
文件1第0138段内容：['\u3000\u3000机动车载运爆炸物品、易燃易爆化学物品以及剧毒、放射性等危险物品', '应当经公安机关批准后', '按指定的时间、路线、速度行驶', '悬挂警示标志并采取必要的安全措施']
文件2第0116段内容：['驾驶机动车运载超限的不可解体的物品', '未按指定的时间、路线、速度行驶或者未悬挂明显标志者', '将受到 扣除6分的处罚']
相同内容： ['按指定的时间、路线、速度行驶']
相同字符比：26.92%
相同字符数： 14

************************************ 发现相同内容 ************************************
文件1第0138段内容：['\u3000\u3000机动车载运爆炸物品、易燃易爆化学物品以及剧毒、放射性等危险物品', '应当经公安机关批准后', '按指定的时间、路线、速度行驶', '悬挂警示标志并采取必要的安全措施']
文件2第0118段内容：['驾驶机动车载运爆炸物品、易燃易爆化学物品以及剧毒、放射性等危险物品', '未按指定的时间、路线、速度行 驶或者未悬挂警示标志并采取必要的安全措施者将受到此处罚']
相同内容： ['按指定的时间、路线、速度行驶', '悬挂警示标志并采取必要的安全措施']
相同字符比：41.10%
相同字符数： 30

处理进行中，已处理段落  200 (总数 0312 ）
************************************ 发现相同内容 ************************************
文件1第0212段内容：['\u3000\u3000醉酒驾驶机动车的', '由公安机关交通管理部门约束至酒醒', '吊销机动车驾驶证', '依法追究刑 事责任；五年内不得重新取得机动车驾驶证']
文件2第0023段内容：['依法追究刑事责任', '一律吊销机动车驾驶证']
相同内容： ['吊销机动车驾驶证', '依法追究刑事责任']
相同字符比：88.89%
相同字符数： 16

************************************ 发现相同内容 ************************************
文件1第0214段内容：['\u3000\u3000醉酒驾驶营运机动车的', '由公安机关交通管理部门约束至酒醒', '吊销机动车驾驶证', '依法追 究刑事责任；十年内不得重新取得机动车驾驶证', '重新取得机动车驾驶证后', '不得驾驶营运机动车']
文件2第0023段内容：['依法追究刑事责任', '一律吊销机动车驾驶证']
相同内容： ['吊销机动车驾驶证', '依法追究刑事责任']
相同字符比：88.89%
相同字符数： 16

************************************ 发现相同内容 ************************************
文件1第0215段内容：['\u3000\u3000饮酒后或者醉酒驾驶机动车发生重大交通事故', '构成犯罪的', '依法追究刑事责任', '并由公安 机关交通管理部门吊销机动车驾驶证', '终生不得重新取得机动车驾驶证']
文件2第0025段内容：['一律吊销机动车驾驶证', '终生不得重新取得机动车驾驶证']
相同内容： ['终生不得重新取得机动车驾驶证']
相同字符比：58.33%
相同字符数： 14

************************************ 发现相同内容 ************************************
文件1第0216段内容：['\u3000\u3000第九十二条\u3000公路客运车辆载客超过额定乘员的', '处二百元以上五百元以下罚款；超过额定 乘员百分之二十或者违反规定载货的', '处五百元以上二千元以下罚款']
文件2第0035段内容：['机动车驾驶人补领机动车驾驶证后', '继续使用原机动车驾驶证的', '处二十元以上二百元以下罚款;在实习期内驾驶机动车不符合第六十五条规定的', '处二十元以上二百元以下罚款;驾驶机动车未按规定粘贴、悬挂实习标志或者残疾人机动车专用 标志的', '处二十元以上二百元以下罚款;持有大型客车、牵引车、城市公交车、中型客车、大型货车驾驶证的驾驶人', '未按照规定申 报变更信息的', '处二十元以上二百元以下罚款;机动车驾驶证被依法扣押、扣留或者暂扣期间', '采用隐瞒、欺骗手段补领机动车驾驶 证的', '处二百元以上五百元以下罚款;机动车驾驶人身体条件发生变化不适合驾驶机动车', '仍驾驶机动车的', '处二百元以上五百元 以下罚款;逾期不参加审验仍驾驶机动车的', '处二百元以上五百元以下罚款']
相同内容： ['处二百元以上五百元以下罚款']
相同字符比：18.57%
相同字符数： 13

************************************ 发现相同内容 ************************************
文件1第0217段内容：['\u3000\u3000货运机动车超过核定载质量的', '处二百元以上五百元以下罚款；超过核定载质量百分之三十或者 违反规定载客的', '处五百元以上二千元以下罚款']
文件2第0035段内容：['机动车驾驶人补领机动车驾驶证后', '继续使用原机动车驾驶证的', '处二十元以上二百元以下罚款;在实习期内驾驶机动车不符合第六十五条规定的', '处二十元以上二百元以下罚款;驾驶机动车未按规定粘贴、悬挂实习标志或者残疾人机动车专用 标志的', '处二十元以上二百元以下罚款;持有大型客车、牵引车、城市公交车、中型客车、大型货车驾驶证的驾驶人', '未按照规定申 报变更信息的', '处二十元以上二百元以下罚款;机动车驾驶证被依法扣押、扣留或者暂扣期间', '采用隐瞒、欺骗手段补领机动车驾驶 证的', '处二百元以上五百元以下罚款;机动车驾驶人身体条件发生变化不适合驾驶机动车', '仍驾驶机动车的', '处二百元以上五百元 以下罚款;逾期不参加审验仍驾驶机动车的', '处二百元以上五百元以下罚款']
相同内容： ['处二百元以上五百元以下罚款']
相同字符比：20.63%
相同字符数： 13

************************************ 发现相同内容 ************************************
文件1第0221段内容：['\u3000\u3000机动车驾驶人不在现场或者虽在现场但拒绝立即驶离', '妨碍其他车辆、行人通行的', '处二十元 以上二百元以下罚款', '并可以将该机动车拖移至不妨碍交通的地点或者公安机关交通管理部门指定的地点停放', '公安机关交通管理部门拖车不得向当事人收取费用', '并应当及时告知当事人停放地点']
文件2第0035段内容：['机动车驾驶人补领机动车驾驶证后', '继续使用原机动车驾驶证的', '处二十元以上二百元以下罚款;在实习期内驾驶机动车不符合第六十五条规定的', '处二十元以上二百元以下罚款;驾驶机动车未按规定粘贴、悬挂实习标志或者残疾人机动车专用 标志的', '处二十元以上二百元以下罚款;持有大型客车、牵引车、城市公交车、中型客车、大型货车驾驶证的驾驶人', '未按照规定申 报变更信息的', '处二十元以上二百元以下罚款;机动车驾驶证被依法扣押、扣留或者暂扣期间', '采用隐瞒、欺骗手段补领机动车驾驶 证的', '处二百元以上五百元以下罚款;机动车驾驶人身体条件发生变化不适合驾驶机动车', '仍驾驶机动车的', '处二百元以上五百元 以下罚款;逾期不参加审验仍驾驶机动车的', '处二百元以上五百元以下罚款']
相同内容： ['处二十元以上二百元以下罚款', '处二十元以上二百元以下罚款', '处二十元以上二百元以下罚款', '处二十元以上二百 元以下罚款']
相同字符比：41.94%
相同字符数： 52

************************************ 发现相同内容 ************************************
文件1第0245段内容：['\u3000\u3000对驾驶前款所列机动车上道路行驶的驾驶人', '处二百元以上二千元以下罚款', '并吊销机动车驾 驶证']
文件2第0018段内容：['对上道路行驶的拼装、改装或者应该报废的机动车一律予以收缴', '强制报废', '对驾驶前款所列机动车上道路 行驶的驾驶人', '一律处1500元罚款', '并吊销机动车驾驶证']
相同内容： ['对驾驶前款所列机动车上道路行驶的驾驶人', '并吊销机动车驾驶证']
相同字符比：65.12%
相同字符数： 28

************************************ 发现相同内容 ************************************
文件1第0248段内容：['\u3000\u3000造成交通事故后逃逸的', '由公安机关交通管理部门吊销机动车驾驶证', '且终生不得重新取得机 动车驾驶证']
文件2第0025段内容：['一律吊销机动车驾驶证', '终生不得重新取得机动车驾驶证']
相同内容： ['终生不得重新取得机动车驾驶证']
相同字符比：58.33%
相同字符数： 14

处理进行中，已处理段落  300 (总数 0312 ）

比对完成，总用时:  0:00:00.118681
 
小结
 
经测试，本方法可以有效地识别出相同的内容， 加满解决了之前的需求，达到了预期的目标。

 
又是一年毕业季，我看到朋友圈里有很多人都在含泪哭喊“毕业太难”“生活好苦”“毕业不仅有诗和远方，还有论文和查重”。这让我不禁想起去年毕业，连续熬夜两周就为了让我的查重率降低那么一点点。有很多次我甚至都觉得我要改到天荒地老，一辈子都得跟毕业论文绑着。不过还好，最终我还是赢得了这场无声战争的胜利。
 

 

  
 
 
最近因为有不少学弟学妹问我关于论文查重的问题，我就整理了这篇论文查重注意要点分享给大家。
 
这篇文章是我根据自己的经验与收集各方资料写成，没有对比，纯粹分享，仅供参考。
 
注意时间安排
 
就我们这这届来说，十月份开题，12月写论文要开始逐渐步入正轨，1—2月要完成论文初稿。我们学校会提供一次免费查重机会，其他大部分学校听说也会提供查重机会，这个可以自己去问下导师。但是，敲黑板，由于这个查重机会是有限的，我们一定一定要合理安排，灵活运用，把握好每个时间节点。
 
查重平台要选好
 
最开始查毕业论文的时候，因为查重平台要付费，考虑到费用的问题，我用的是一个小成本查重软件（流下了贫穷的眼泪）。一开始查重还是挺顺的，但是到第三次之后降不下去了，不管是同义词替换、译成英文再翻译还是什么都没有用，就卡在36％下不去。
 
然后我的一个学姐，在跟我聊天的时候知道我现在的苦恼，就跟我说换个查重平台试试，之后她让我用用万方查重，她之前毕业论文用的就是这个软件。然后我就用了，结果，真香。我把查重率压得特别狠，之前卡在36％下不去，用万方之后直接压到11％（学校要求20％）。
 
所以，这里总结一下，关于查重平台如何选择：
 
1、最开始，我们可以用小成本查重平台来看一下论文大致的查重率，是否高出及格线很多？是否有大幅降重的必要？查重平台数据对比库良莠不齐，不过就论文初稿而言是足够了。
 
2、使用小成本降重平台，当查重率再降不下去之后，就可以换成大的查重平台，就以万方查重为例，万方的数据库相对来说比较广泛，包括万方数据中国学术期刊数据库、中国学位论文全文数据库、中国学术会议论文数据库、中国学术网页数据库、中国专利全文数据库等，出的论文报告比较精准科学。
 
还有个小tips，如果你经济情况允许，可以去看看自己学校用的是什么查重平台，你从头到尾都跟它保持一致就行，只要低于学校要求的查重率基本就稳了。
 

 

  
 
 
降重+点查
 
这里直接挑重点讲，我总结出了三点：
 
 1、同义词替换、改变表述方式、打乱顺序、拆分合并法等等这些众所周知的方法我就不细讲了，关键在于有很多人这些方法都试过，但是不管用。我想说，单纯以一种方式效果的确不会太好。比如说替换几个近义词也只是调换了顺序，这样标红的可能性还是会很大。降重是概率问题，查重系统是算法，各种技巧你要结合起来用，你对原句改动越大，系统越无法识别出相似。
 
2、引用不管你怎么标注，标注得再规范，它也是参与查重的。直接应用别人原文＝抄袭，你需要做的是用自己的话组织表达别人的观点。
 
3、论文格式影响查重，但不是指字体、颜色之类的格式。首先，目录要自动生成，参考文献正确才不会被标红。其次，关于word和pdf查重，一定要按照学校的要求来，首选word查，因为pdf会查脚注，参考文献被标红的几率会比较大。
 

 

  
 
 
好啦，写到这里，我也差不多将我所有的经验都讲出来了。另外我还要再次感谢我的学姐张某跟万方查重，他们简直救我于水火。最后希望大家都能稳过学校要求查重率，该吃吃该喝喝，珍惜毕业前的美好时光哦！
 
结尾来个小彩蛋，当时我被抽中论文查重了，那段时间同学们看到我就送上亲切的慰（嘲）问（笑）。