周末来一发，结个尾

具体步骤

1. 自定义相机扫描框实时扫描试卷二维码功能
2. 扫描二维码获取当前试卷信息
3. 自定义相机按试卷比例绘制裁剪框
4. OpenCv对用户拍照图片进行矫正
5. 对矫正后的图片，使用OpenCv对图片进行处理，获取到图片定位点信息。根据图片定位点算出每张图片原点的偏移量
6. 获取到试卷起始定位点，根据第二步获取到的试卷坐标对图片进行题型框选（需要算原图和用户拍照图的宽高比例对坐标进行缩放处理，否则会圈的很不准确）
7. OpenCv对框选内容进行图片切割、压缩。
8. 图片上传服务器进行识别搜题
9. 服务器返回各题识别结果和当前小图的坐标
10. 根据原始图坐标和小图坐标对识别结果进行判错框选处理
11. 结果试卷回显给用户

关于OpenCV图片处理的代码前面基本上都已经说过了，其他的就是些基本的代码了，自己动手写一下吧。

最后实现效果如下

题型就标注这些坐标，所以我们圈的时候也是圈的这些。

最终实现效果

        近期接到的项目中有一个功能——手机拍照搜索试题。首先进行分析，客户端调用ocr接口识别照片中的文字，服务端拿到文字去题库进行搜索。对后端开发的我来说，问题就变为如何根据关键词搜索匹配度较高的题目。一个全新的问题，之前没有接触过，此时内心有些崩溃，不知道能不能实现，而且要给出开发工期，要怎么办？姑且先给5天吧，如果调研失败，我有最后的保留方案——用mysql全文索引实现（在类似需求中应用过，有局限性，不是根据语义分析而是根据标点拆分文章，看句子是否在题目中出现过）。

       调研开始发现百度App有拍照搜题的功能，既然人家能实现，说明这个问题是有解的，进一步增强了自己的信心。

       后来发现很多关于simHash的文章，其中一篇：simhash算法原理及实现。用简单的话解释一下simhash：这个算法可以把任何文章都哈希成一个64位的二进制码，语义越相近的文章，获得的二进制码的汉明距离越小。如果感兴趣，大家可以深入研究一下。

      基于这个理论，经过大量尝试（其中不乏开源代码，在此非常感谢），终于完成了下面的类。simhash第一步首先要分词，故这个类用到了php的scws这个拓展。

如果想要了解scws怎样安装，点这

<?php
class Glo_Simhash {
    /**
     * 全角字符转变成半角字符
     * @param $str
     * @return mixed
     */

    function replace_DBC2SBC($str) {
        $DBC = Array(
            '０' , '１' , '２' , '３' , '４' ,
            '５' , '６' , '７' , '８' , '９' ,
            'Ａ' , 'Ｂ' , 'Ｃ' , 'Ｄ' , 'Ｅ' ,
            'Ｆ' , 'Ｇ' , 'Ｈ' , 'Ｉ' , 'Ｊ' ,
            'Ｋ' , 'Ｌ' , 'Ｍ' , 'Ｎ' , 'Ｏ' ,
            'Ｐ' , 'Ｑ' , 'Ｒ' , 'Ｓ' , 'Ｔ' ,
            'Ｕ' , 'Ｖ' , 'Ｗ' , 'Ｘ' , 'Ｙ' ,
            'Ｚ' , 'ａ' , 'ｂ' , 'ｃ' , 'ｄ' ,
            'ｅ' , 'ｆ' , 'ｇ' , 'ｈ' , 'ｉ' ,
            'ｊ' , 'ｋ' , 'ｌ' , 'ｍ' , 'ｎ' ,
            'ｏ' , 'ｐ' , 'ｑ' , 'ｒ' , 'ｓ' ,
            'ｔ' , 'ｕ' , 'ｖ' , 'ｗ' , 'ｘ' ,
            'ｙ' , 'ｚ' , '－' , '　' , '：' ,
            '。' , '，' , '／' , '％' , '＃' ,
            '！' , '＠' , '＆' , '（' , '）' ,
            '＜' , '＞' , '＂' , '＇' , '？' ,
            '［' , '］' , '｛' , '｝' , '＼' ,
            '｜' , '＋' , '＝' , '＿' , '＾' ,
            '￥' , '￣' , '｀' , '“' , '”',
            '；' , '·'
        );
        $SBC = Array(
            '0', '1', '2', '3', '4',
            '5', '6', '7', '8', '9',
            'A', 'B', 'C', 'D', 'E',
            'F', 'G', 'H', 'I', 'J',
            'K', 'L', 'M', 'N', 'O',
            'P', 'Q', 'R', 'S', 'T',
            'U', 'V', 'W', 'X', 'Y',
            'Z', 'a', 'b', 'c', 'd',
            'e', 'f', 'g', 'h', 'i',
            'j', 'k', 'l', 'm', 'n',
            'o', 'p', 'q', 'r', 's',
            't', 'u', 'v', 'w', 'x',
            'y', 'z', '-', ' ', ':',
            '.', ',', '/', '%', '#',
            '!', '@', '&', '(', ')',
            '<', '>', '"', '\'','?',
            '[', ']', '{', '}', '\\',
            '|', '+', '=', '_', '^',
            '$', '~', '`', '"', '"',
            ';', '.'
        );
        return str_replace($DBC, $SBC, $str);
    }

    function hashCode($str) {
        if(empty($str)) return '';
            $mdv = md5($str);
            $mdv1 = substr($mdv,0,16);
            $mdv2 = substr($mdv,16,16);
            $crc1 = abs(crc32($mdv1));
            $crc2 = abs(crc32($mdv2));
            $code =  decbin(bcmul($crc1,$crc2));
            $code = str_repeat('0',64 - strlen($code)).$code;
        return $code;
    }

    function hashCode64($str) {
        $len = 8;
        $md5 = substr(md5($str), 0, $len);
        $seed = 31; 
        $hash = 0;
        for($i = 0; $i < $len; $i++) {  
            $hash = $hash*$seed+ord($md5{$i});
        }
        $hash = $hash & 0x7FFFFFFF;
        $hash = decbin(bcmul($hash,$hash));

        $hash = str_repeat('0',64 - strlen($hash)).$hash;
        return $hash;
    }
    
    //采用scws分词
    function getSimHash($text){
        $so = scws_new();
        $so->set_charset('utf8'); //编码
        $so->set_duality(0);  //散字二元
        $so->set_ignore(0); //忽略标点符号
        $so->set_multi(0);
        $str = $this->replace_DBC2SBC($text);
        //过滤字符
        $filter = [',','.','-','_','`','、','"',"'",":",';','<','>','{','}','(',')'];
        $so->send_text($str);
        $keyList = array();
        while($words = $so->get_result())
        {
            foreach($words as $word){
                $s = $word['word'];
                $weight = intval($word['idf'])*20;
                if(!in_array($s,$filter)  && $weight){
                    $hash = array();
                    $hash_code = $this->hashCode64($s);
                    for($i=0;$i<64;$i++){
                        $value = intval(substr($hash_code,$i,1));
                        if($value==1){
                            $hash[] = $weight;
                        }else{
                            $hash[] = -$weight;
                        }
                    }

                    $keyList[] = $hash;
                }
            }
        }
        $finCode = '';
        for($i=0;$i<64;$i++) {
           $code = 0;
           if(empty($keyList)) {
                break;
           }
           foreach($keyList as $key) { 
                $code+=intval($key[$i]);
           }
           if($code>0) {
                $finCode .= '1';
           } else {
                $finCode .= '0';
           }
        }
        return $finCode;
    }
}

创建倒排索引数据表

CREATE TABLE `simhash_syintelligence` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `hashcode16` char(16) NOT NULL DEFAULT '' COMMENT '16位2进制hash',
  `dp` text NOT NULL  COMMENT '倒排字段 内容：(题目id:hashcode位置;题目id:hashcode位置)',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

接下来，如何实现就非常明了了。现将接收到的关键词做一次simHash，然后将值分隔成4段，去表中分4次查询，找到位置对应的题目id即可。

以上是猜想，基于ocr准确识别的情况，但联调时发现，照片识别不是很准确，经常出现类似“问”识别为“间”的情况。simHash是基于语义分析的，我上面的方案必须保证分割的4块中其中一块完全相同，错一字，汉明距离就变大好多，导致可能匹配不到。还有一种情况是，会返回毫不相关的文章，因为这样做返回文章的汉明距离为0-48，于是又改变了策略，调整表的设计：

CREATE TABLE `simhash_syintelligence` (
  `id` BIGINT(20) UNSIGNED NOT NULL AUTO_INCREMENT,
  `ques_id` INT(10) NOT NULL DEFAULT '0' COMMENT '题目id',
  `hashcode64` CHAR(64) NOT NULL DEFAULT '' COMMENT '64位2进制hash',
  PRIMARY KEY (`id`),
  KEY `hashcode64` (`hashcode64`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

将题目内容完整hash记录下来，不再做切割。拿到关键词，先做一次simHash，然后轮询表，两两比较汉明距离，如果汉明距离小于某个特定值，则将题目返回回来。

算是一种思路，但是实际应用中发现哈希碰撞的概率挺高的，搜索一段英文，完全没有联系的中文被搜出来的，效果不太理性；

可以换成es全文搜索引擎做

今天一起体验作业帮“拍照搜题”功能，从实际产品使用流程中切实感受AI技术 如何为教育创造更多可能~

  作业帮是一款以“拍照搜题”为核心功能的在线教育产品，该功能的实现主要运用了OCR和深度学习技术，故本文围绕该项功能的体验，结合简要的技术分析，领略作业帮化身“AI小叮当”的魅力，话不多说，开始本期的旅程吧~

可见，作业帮的主要用户可分为学生、家长及老师，其中以学生群体为主。 

  我们可以很清楚地看到，作业帮作为一个K12阶段相对成功的在线教育产品，依托于人工智能技术的发展，为广大的学生、家长和老师带来了便利。

#而对于家长而言，作业帮的拍照搜题帮助他们缓解了自身文化程度不高无法辅导孩子的无力感，同时帮助工作忙的家长节省了时间，也替经济条件有限的家长省了钱。

#而对教师用户而言，作业帮也为他们价值和利益最大化提供了一个平台。

#对作业帮而言，拍照搜题的提出，是迎合AI时代对教育的一种创新，同时为计算机视觉技术的落地提供了良好的落地契机，为传统教育的改革带来了新的方向。

    算法、技术可以有千千万万种，用户可能遍布天涯海角，但作为一个产品，尤其是工具类的产品，如果本身核心功能不够出众，或在后续的完善中偏离了核心功能轨道，只有死路一条。而从人工智能发展的角度来看，算法准确率的提升和优化是一个不均衡的过程。

比如，起步的时候，可能随便加大训练数据数量或者是调整学习参数或训练的方式，算法提升的效果就很明显，因为说到底，所谓的人工智能，还是利用了计算机超强的存储及快速暴力求解的能力。

但随着不断地推进，面对的数据越来越复杂、用户场景越来越多、需求越来越丰富，算法还想提升，哪怕那么一个百分点，都是十分困难的，这也是所有人工智能类产品在迭代进程中都会面临的问题。

但是我们从作业帮拍照搜题的识别越来越准确，用户体验也越来越好，可以看到作业帮一直在坚持后台算法的迭代和优化，这种对初衷的坚持是算法之外更可贵的产品精神。

从中可见，在拍照的过程中，做出了两个比较明显的限制。

第一个是横屏拍照，保持题目处于图片的特定区域，其目的在于减少后续识别算法处理的难度。其次是对拍摄灯光的要求，因为当光线较暗时，图片不够清晰，则后期的文字识别会出问题，不利于最终的识别准确率。

这是用户体验和算法准确性之间的一种权衡，更人性化的产品设计提倡，尽量减少对用户的要求，增加用户使用的自由性。

然而对于人工智能算法类的产品设计而言，其准确率的获得往往需基于一定的前提，一旦打破这些限制，算法识别的效果可能就会十分差劲，则会带给用户更糟糕的影响。

因此，这可能是因为系统基于OCR和深度学习的方法，主要对文字切割进行处理，但是对图像特征的处理比较欠缺，所以检索效果较差。

则上述问题的解决，可通过多种技术方案融合，应对不同用户场景需求的特定任务处理，增强算法应用的鲁棒性，减少算法失灵的情况，这应当也是未来人工智能产品落地的一个重要关注点。

最后，还有一个小问题，有时拍摄上传数学类的题目，返回的结果中可能还包含物理、化学、英语等结果，我们将这类错误姑且称之为跨学科错误。

这也是可以理解的，因为算法更关注于对拍摄题目的文字识别，并在之后以文字特征的相近性作为主要指标，进行搜索结果返回。如此，只要题目描述和题库文本更相似就会作为结果返回，却忽略题目类别的考虑。

关于这个问题的解决，或许可以考虑，在识别的过程中，增加类别标签，如拍摄题目上传之后，可以通过用户设定题目类标签。比如：属于语文、数学、英语等，则上传之后在特定的范围检索，这一方面可以提高算法检索的效率，另一方面也可以减少跨学科返回的错误。

改进算法，实现对书面与手写体的精准识别也显得至关重要。