前言

本文是关于文本对比和通过diff算法的简单介绍，如果你想快速通过java+html或者纯JavaScript来实现两文件并排对比可看我另一篇文章：

文本对比，文本差异并排对比显示实现

一、文本差异对比介绍

举一个最常见的例子，我们使用git进行提交时，通常会使用git diff --cached来查看这次提交做了哪些改动，这里我们先简单定义一下什么是diff：diff就是目标文本和源文本之间的区别，也就是将源文本变成目标文本所需要的操作。

在 Git 中，有四种diff算法，分别是Myers、Minimal、Patience和Histogram，它们用于获取位于两个不同提交中的两个相同文件的差异。

Myers算法由Eugene W.Myers在1986年发表的一篇论文中提出，是一个能在大部分情况产生”最短的直观的“diff的一个算法。

文本差异对比涉及到的算法介绍 ：
How different are different diff algorithms in Git
Myers Diff 差分算法

好用的在线文本对比： 在线文本比较工具

好用的桌面文本对比软件：Meld、DiffMerge、xxdiff、Diffuse、Kompare

常见的文本差异对比库：

1.java-diff-utils

2.diff-match-patch

本文通过java-diff-utils库来实现文本差异对比

二、依赖下载

jar下载网址：io.github.java-diff-utils:java-diff-utils:4.11

官方git地址：java-diff-utils

官方demo示例： java-diff-utils Examples

如果你使用Maven:

<dependency>
  <groupId>io.github.java-diff-utils</groupId>
  <artifactId>java-diff-utils</artifactId>
  <version>4.11</version>
</dependency>

如果你使用Gradle:

implementation 'io.github.java-diff-utils:java-diff-utils:4.11'

本文下面会用到的三个对比文本如下：

test1.txt 和 test3.txt ：

_this.ispc = function(){
  var userAgentInfo = navigator.userAgent;
    var Agents = ["Android", "iPhone",
                "SymbianOS", "Windows Phone",
                "iPad", "iPod"];
    var flag = true;
    for (var v = 0; v < Agents.length; v++) {
        if (userAgentInfo.indexOf(Agents[v]) > 0) {
            flag = false;
            break;
        }
    }
    return  flag;
}
window._assignInfo = {};
window._curnodepersons = [];
window.attachmode = '0';
window.isEsignature = false;
window.upList = [];
window.downList = [];
window.billId = '';
window.upProcessIdList = [];
window.downProcessIdList = [];
var urlsplit = window.location.href.split("#");
if(urlsplit.length>1){
  //alert(window.location.href);
 	location.href = urlsplit[0];
}

test2.txt：

_this.ispc = function(){
  var userAgentInfo = navigator.userAgent;
    var Agents = ["Android", "iPhone",
                "SymbianOS", "Windows Phone",
                "iPad", "iPod"];
    var flag = true;
    for (var v = 0; v < Agents.length; v++) {
        if (userAgentInfo.indexOf(Agents[v]) > 0) {
            flag = false;
insert1；
insert2；
            break;
        }
    }
    return  flag;
}
window._assignInfo = {};
window._curnodepersons = [];
window.attachmode = '0';
window.isEsignature = false;


add
window.billId = '';
window.upProcessIdList = [];
window.downProcessIdList = [];
var urlsplit = window.location.href.split("#");
if(urlsplit.length>1){
  //alert(window.location.href);
 	location.href = qazwer[0];
}

三、获取两文件的不同点-patch

		//原始文件
        List<String> original = Files.readAllLines(new File("D:\\test1.txt").toPath());
        //对比文件
        List<String> revised = Files.readAllLines(new File("D:\\test2.txt").toPath());

        //两文件的不同点
        Patch<String> patch = DiffUtils.diff(original, revised);
        for (AbstractDelta<String> delta : patch.getDeltas()) {
            System.out.println(delta);
        }

输出：

[InsertDelta, position: 9, lines: [insert1；, insert2；]]
[ChangeDelta, position: 18, lines: [window.upList = [];, window.downList = [];] to [, , add]]
[ChangeDelta, position: 26, lines: [ 	location.href = urlsplit[0];] to [ 	location.href = qazwer[0];]]

InsertDelta代表插入的，ChangeDelta代表删除的或修改的。position代表第几行，lines代表内容。

四、根据patch生成统一的差异格式unifiedDiff

		//原始文件
        List<String> original = Files.readAllLines(new File("D:\\test1.txt").toPath());
        //对比文件
        List<String> revised = Files.readAllLines(new File("D:\\test2.txt").toPath());

        //两文件的不同点
        Patch<String> patch = DiffUtils.diff(original, revised);

		//生成统一的差异格式
        List<String> unifiedDiff = UnifiedDiffUtils.generateUnifiedDiff("test1.txt", "test2.txt", original, patch, 0);
        unifiedDiff.forEach(System.out::println);

输出diff：

--- test1.txt
+++ test2.txt
@@ -10,0 +10,2 @@
+insert1；
+insert2；
@@ -19,2 +21,3 @@
-window.upList = [];
-window.downList = [];
+
+
+add
@@ -27,1 +30,1 @@
- 	location.href = urlsplit[0];
+ 	location.href = qazwer[0];

说明：

关于输出的diff可参考 ：读懂diff

减号代表原始文件test1.txt，加号代表对比文件test2.txt

@@ -10,0 +10,2 @@
+insert1；
+insert2

表示test2增加了2行，分别加了insert1；和insert2这两行

@@ -19,2 +21,3 @@
-window.upList = [];
-window.downList = [];
+
+
+add

表示test2删除了2行，删除的这两行是test1从19行开始的2行；然后test2又增加了3行，增加是3行是从test2的21行开始的。

@@ -27,1 +30,1 @@
- 	location.href = urlsplit[0];
+ 	location.href = qazwer[0];

表示test2删除了1行，删除的这行是test1从27行开始的1行；然后test2又增加了1行，增加是1行是从test2的30行开始的。(相当于这一行进行了修改)

前端页面美化输出：
如果想将上面通过Java代码得到的两个文件的差异美化输出可以 参考我另一篇博客：Java+html实现文本对比 实现效果如下：

如果想获取全部内容对比，要把diff加入到文件内容中，也就是上面代码的diffString 替换为如下（没改动的代码前要加一个空格才会显示）：

    const diffString = `
--- test1.txt
+++ test2.txt
@@ -0,0 +0,0 @@
 this.ispc = function(){
  var userAgentInfo = navigator.userAgent;
    var Agents = ["Android", "iPhone",
                "SymbianOS", "Windows Phone",
                "iPad", "iPod"];
    var flag = true;
    for (var v = 0; v < Agents.length; v++) {
        if (userAgentInfo.indexOf(Agents[v]) > 0) {
            flag = false;
@@ -10,0 +10,2 @@			
+insert1；
+insert2；
            break;
        }
    }
    return  flag;
}
 window._assignInfo = {};
 window._curnodepersons = [];
 window.attachmode = '0';
 window.isEsignature = false;
@@ -19,2 +21,3 @@
-window.upList = [];
-window.downList = [];
+
+
+add
 window.billId = ;
 window.upProcessIdList = [];
 window.downProcessIdList = [];
 var urlsplit = window.location.href.split();
 if(urlsplit.length>1){
  //alert(window.location.href);
@@ -27,1 +30,1 @@
- 	location.href = urlsplit[0];
+ 	location.href = qazwer[0];
 }
`;

如果你想通过js获取diff，然后通过diff2html渲染到界面可以参考：
实现Diff页面的工程实践
vue-diff-demo

五、根据unifiedDiff打补丁

假设你有test1.txt、test2.txt、test3.txt 三个内容一样的文件，有一天你改了test2.txt的文件内容，你想把test2.txt修改的地方也同步的修改运用到 test3.txt上就可以通过打补丁的方式来实现。简单的来说就是test1.txt、test2.txt进行对比得到 unifiedDiff ，把 unifiedDiff运用到 test3.txt 。（相当于git的不同分支的代码同步）

		//原始文件
        List<String> original = Files.readAllLines(new File("D:\\test1.txt").toPath());
        //对比文件
        List<String> revised = Files.readAllLines(new File("D:\\test2.txt").toPath());

        //两文件的不同点
        Patch<String> patch = DiffUtils.diff(original, revised);

        //生成统一的差异格式
        List<String> unifiedDiff = UnifiedDiffUtils.generateUnifiedDiff("test1.txt", "test2.txt", original, patch, 0);

        //从文件或此处从内存导入统一差异格式到补丁
        Patch<String> importedPatch = UnifiedDiffUtils.parseUnifiedDiff(unifiedDiff);

        List<String> test3 = Files.readAllLines(new File("D:\\test3.txt").toPath());

        //将差异运用到其他文件打补丁，即将不同点运用到其他文件（相当于git的冲突合并）
        List<String> patchedText = DiffUtils.patch(test3, importedPatch);
        for (String patchedTextPow : patchedText) {
            System.out.println(patchedTextPow);
        }

输出：

_this.ispc = function(){
  var userAgentInfo = navigator.userAgent;
    var Agents = ["Android", "iPhone",
                "SymbianOS", "Windows Phone",
                "iPad", "iPod"];
    var flag = true;
    for (var v = 0; v < Agents.length; v++) {
        if (userAgentInfo.indexOf(Agents[v]) > 0) {
            flag = false;
insert1；
insert2；
            break;
        }
    }
    return  flag;
}
window._assignInfo = {};
window._curnodepersons = [];
window.attachmode = '0';
window.isEsignature = false;


add
window.billId = '';
window.upProcessIdList = [];
window.downProcessIdList = [];
var urlsplit = window.location.href.split("#");
if(urlsplit.length>1){
  //alert(window.location.href);
 	location.href = qazwer[0];
}

六、对比两文件的不同点并按行显示不同

		//原始文件
        List<String> text1= Files.readAllLines(new File("D:\\test2.txt").toPath());
        //对比文件
        List<String> text2=Files.readAllLines(new File("D:\\test1.txt").toPath());

        //行比较器，原文件删除的内容用"~"包裹，对比文件新增的内容用"**"包裹
        DiffRowGenerator generator = DiffRowGenerator.create()
                .showInlineDiffs(true)
                .inlineDiffByWord(true)
                .oldTag(f -> "~")
                .newTag(f -> "**")
                .build();
        //通过行比较器对比得到每一行的不同
        List<DiffRow> rows = generator.generateDiffRows(text1, text2);

        //输出每一行的原始文件和对比文件，每一行的原始文件和对比文件通过 "|"分割
        for (DiffRow row : rows) {
            System.out.println(row.getOldLine() + "|" + row.getNewLine());
        }

输出：

_this.ispc = function(){|_this.ispc = function(){
  var userAgentInfo = navigator.userAgent;|  var userAgentInfo = navigator.userAgent;
    var Agents = ["Android", "iPhone",|    var Agents = ["Android", "iPhone",
                "SymbianOS", "Windows Phone",|                "SymbianOS", "Windows Phone",
                "iPad", "iPod"];|                "iPad", "iPod"];
    var flag = true;|    var flag = true;
    for (var v = 0; v < Agents.length; v++) {|    for (var v = 0; v < Agents.length; v++) {
        if (userAgentInfo.indexOf(Agents[v]) > 0) {|        if (userAgentInfo.indexOf(Agents[v]) > 0) {
            flag = false;|            flag = false;
~insert1；~|
~insert2；~|
            break;|            break;
        }|        }
    }|    }
    return  flag;|    return  flag;
}|}
window._assignInfo = {};|window._assignInfo = {};
window._curnodepersons = [];|window._curnodepersons = [];
window.attachmode = '0';|window.attachmode = '0';
window.isEsignature = false;|window.isEsignature = false;
|**window.upList = [];**
|**window.downList = [];**
~add~|
window.billId = '';|window.billId = '';
window.upProcessIdList = [];|window.upProcessIdList = [];
window.downProcessIdList = [];|window.downProcessIdList = [];
var urlsplit = window.location.href.split("#");|var urlsplit = window.location.href.split("#");
if(urlsplit.length>1){|if(urlsplit.length>1){
  //alert(window.location.href);|  //alert(window.location.href);
     location.href = ~qazwer~[0];|     location.href = **urlsplit**[0];
}|}

参考：

Diffing more quickly
Compare files side by side and hightlight diff using Java | Apache Commons Text diff | Myers algorithm
Myers diff algorithm vs Hunt–McIlroy algorithm

语法

array_udiff(array1,array2,array3...,myfunction)

目录

一、背景

二、分析流程

三、验数方法

3.1 数据量级比对

3.2 一致性比对

3.2.1 勾稽验证+md5方法

3.2.2 暴力比对法

3.3 差异数据发现

四、总结

本文是考拉验数(自动化验数)设计方案和实现中核心的验数SQL。

一、背景

做数据，经常遇到数据验证，很烦很枯燥，即耗时又耗人，但又必须去做。如何去做数据验证，并标准化整个流程，让验数变得轻松。

二、分析流程

……

相同表结构数据验证：比如修改表逻辑

相似表结构数据验证：比如修改表字段。

新表数据校验：比如新开发了表，选择一个比对表参考等等

三、验数方法

数据验证三步走：

1. 数据量级比对：先比对两个表核心字段数据量级，如果量级不同，两个表数据肯定不一致。
2. 一致性比对：如果量级相同，比对一致性。
3. 差异数据发现：如果数据不一致，把不一致的数据打印出来。

3.1 数据量级比对

select left_table.pv-right_table.pv as pv_diff,
       left_table.user_id_uv - right_table.user_id_uv as user_id_uv_diff,
       left_table.order_id_uv - right_table.order_id_uv as order_id_uv_diff,
       left_table.city_id_uv - right_table.city_id_uv as city_id_uv_diff
  from (
        select count(1) as pv,
               count(distinct user_id) as user_id_uv,
               count(distinct order_id) as order_id_uv,
               count(distinct city_id) as city_id_uv
          from mart_online.fact_user_order_day
         where dt=20190413
       )left_table
  left outer join (
        select count(1) as pv,
               count(distinct user_id) as user_id_uv,
               count(distinct order_id) as order_id_uv,
               count(distinct city_id) as city_id_uv
          from mart_test.fact_user_order_day
         where dt=20190413
       )right_table
    on 1=1

左表pv减去右表pv值为：[0]，核心字段uv差为：[0] 即两个表数据条数相同
+-------+----------------+------------------+---------------+
|pv_diff|user_id_uv_diff |order_id_uv_diff  |city_id_uv_diff|
+-------+----------------+------------------+---------------+
|      0|               0|                 0|              0|
+-------+----------------+------------------+---------------+

3.2 一致性比对

3.2.1 勾稽验证+md5方法

勾稽是一个小姑娘起的名字，在这里就是看一下左表不为NULL的left_table_num，右表不为NULL的right_table_num，两个表都有的 left_right_equal_num，如果这三个数相等就说明数据是一致的。反之数据肯定不一致，同时可以计算出不一致的条数。

md5：就是计算一行数据的md5值，把它当成key去做比对。尤其是在百亿数据规模的情况下，这种方法也使用。

************ 数据量一致性验证SQL ************* 注意：这里采用 full join

select sum(case when left_table.record_key is not null or left_table.record_key !='' then 1 else 0 end) as left_table_num,
       sum(case when right_table.record_key is not null or right_table.record_key !='' then 1 else 0 end) as right_table_num,
       sum(case when left_table.record_key = right_table.record_key then 1 else 0 end) as left_right_equal_num
  from (
        select md5(
        concat(
              if(user_id is null, '-', cast(user_id as string)),
              if(user_name is null, '-', cast(user_name as string)),
              if(order_id is null, '-', cast(order_id as string)),
              if(city_id is null, '-', cast(city_id as string)),
              if(city_name is null, '-', cast(city_name as string)),
              if(字段n…… is null, '-', cast(字段n…… as string)),
              if(dt is null, '-', cast(dt as string))
              )
        ) as record_key
          from mart_online.fact_user_order_day
         where dt=20190413
       )left_table
  full outer join (
        select md5(
        concat(
              if(user_id is null, '-', cast(user_id as string)),
              if(user_name is null, '-', cast(user_name as string)),
              if(order_id is null, '-', cast(order_id as string)),
              if(city_id is null, '-', cast(city_id as string)),
              if(city_name is null, '-', cast(city_name as string)),
              if(字段n…… is null, '-', cast(字段n…… as string)),
              if(dt is null, '-', cast(dt as string))
              )
        ) as record_key
          from mart_test.fact_user_order_day
         where dt=20190413
       )right_table
    on left_table.record_key=right_table.record_key

************ 数据量一致性验证报表 *************
[left_table_num]左表中的数据条数，[right_table_num]右表中的条数，[left_right_equal_num]两个表中相等的数据条数。
左表中有[5660]条数据和右表不一致！
+--------------+---------------+--------------------+
|left_table_num|right_table_num|left_right_equal_num|
+--------------+---------------+--------------------+
|      16358699|       16358699|            16353039|
+--------------+---------------+--------------------+

3.2.2 暴力比对法

适合具有唯一ID的表，返回空说明验证准确。

select online.*,
       test.* from(
        select id,
               user_id,
               user_name,
               order_id,
               city_id,
               city_name
          from mart_online.fact_user_order_day
         where dt='20190413'
       )online
  left outer join (
        select id,
               user_id,
               user_name,
               order_id,
               city_id,
               city_name
          from mart_test.fact_user_order_day
         where dt='20190413'
       ) test
    on test.id=online.id
 where test.user_id!=online.user_id
    or test.user_name!=online.user_name
    or test.order_id!=online.order_id
    or test.city_id!= online.city_id
    or test.city_name!= online.city_name

3.3 差异数据发现

发现差异数据的方法很多，这里只讲一个通用的方法：逐条比对法（假定两个表有唯一的ID，如果没有唯一ID，其实md5不一样的数据就不一致），这种方法适合小规模数据，当然我们真是实现的时候是结合一致性验证的情况，直接就能找到差异的数据并打印出来。

select left_table.*,
       right_table.*
  from (
        select *
          from mart_online.fact_user_order_day
         where dt=20190413
       )left_table
  full outer join (
        select *
          from mart_test.fact_user_order_day
         where dt=20190413
       )right_table
    on left_table.id = right_table.id
   and left_table.dt = right_table.dt
 where COALESCE(left_table.user_id, 0) <> COALESCE(right_table.user_id, 0)
    or COALESCE(left_table.user_name, 0) <> COALESCE(right_table.user_name, 0)
    or COALESCE(left_table.order_id, 0) <> COALESCE(right_table.order_id, 0)
    or COALESCE(left_table.city_id, 0) <> COALESCE(right_table.city_id, 0)
    or COALESCE(left_table.city_name, 0) <> COALESCE(right_table.city_name, 0)
    or COALESCE(left_table.字段n……, 0) <> COALESCE(right_table.字段n……, 0)

不一致的条数：[5660]，case如下表所示：
+-------+----------------+------------------+---------------+---------------+
|id     |left_user_id    |left_字段n……       |right_user_id  |right_字段n……   |
+-------+----------------+------------------+---------------+---------------+
|      0|               1|             哇哈哈|              1|           养乐多|
+-------+----------------+------------------+---------------+---------------+

四、总结

如上验数SQL，可以通过代码封装，自动生成，就可以做成自动化数据验证的小工具了。真实情况比较复杂，要考虑字段的识别，where条件，两个表是否有唯一ID，没有唯一ID如何处理等等。